我们如何使用元数据表或查找表通过azure数据工厂将文件从azure blob存储增量加载到sql server或synapse,因为我们不能像在sql表上那样查询文件。在增量加载文件中,数据可能会增加或具有新的或更新的记录。我想完整的流程,因为我们这样做的SQL通过使用元数据表或查找表。谢谢
jhdbpxl91#
在复制活动中,无法查询文件以获取增量或增量数据。因此,您可以使用数据流从源中筛选增量行,并将其加载到接收表中。下面是详细的步骤。
进行查找活动,并且数据集具有文件名和上次复制日期(以前复制文件的日期)的列表。
Foreach活动被采用,设置中的Items被给定为@activity('Lookup1').output.value。
Items
@activity('Lookup1').output.value
创建字符串类型的数据流参数名称date。
date
然后,在数据流中进行过滤活动,并给出条件以过滤在先前加载之后改变的记录。
然后,您可以使用for-each活动中的脚本活动更新查找表中的日期值,并且此脚本活动应紧挨着数据流活动。
1条答案
按热度按时间jhdbpxl91#
在复制活动中,无法查询文件以获取增量或增量数据。因此,您可以使用数据流从源中筛选增量行,并将其加载到接收表中。下面是详细的步骤。
进行查找活动,并且数据集具有文件名和上次复制日期(以前复制文件的日期)的列表。
Foreach活动被采用,设置中的
Items
被给定为@activity('Lookup1').output.value
。创建字符串类型的数据流参数名称
date
。然后,在数据流中进行过滤活动,并给出条件以过滤在先前加载之后改变的记录。
然后,您可以使用for-each活动中的脚本活动更新查找表中的日期值,并且此脚本活动应紧挨着数据流活动。