如何使用元数据表创建增量Azure数据工厂管道?

disbfnqx  于 2023-06-06  发布在  其他
关注(0)|答案(1)|浏览(162)

我们如何使用元数据表或查找表通过azure数据工厂将文件从azure blob存储增量加载到sql server或synapse,因为我们不能像在sql表上那样查询文件。
在增量加载文件中,数据可能会增加或具有新的或更新的记录。我想完整的流程,因为我们这样做的SQL通过使用元数据表或查找表。谢谢

jhdbpxl9

jhdbpxl91#

在复制活动中,无法查询文件以获取增量或增量数据。因此,您可以使用数据流从源中筛选增量行,并将其加载到接收表中。下面是详细的步骤。

  • 进行查找活动,并且数据集具有文件名和上次复制日期(以前复制文件的日期)的列表。

  • Foreach活动被采用,设置中的Items被给定为@activity('Lookup1').output.value

  • 在foreach活动中,执行数据流活动。
  • 在数据流活动中,进行源转换,并且在源中,使用数据集参数在源数据集中动态地给出文件名。

  • 创建字符串类型的数据流参数名称date

  • 然后,在数据流中进行过滤活动,并给出条件以过滤在先前加载之后改变的记录。

  • 然后进行Sink转换,并动态地给出Sink数据集的表名。(这里我给出了与源文件名相同的接收表名称)。
  • 然后,您可以在数据流活动中为数据流参数以及源和接收数据集参数提供值。

然后,您可以使用for-each活动中的脚本活动更新查找表中的日期值,并且此脚本活动应紧挨着数据流活动。

相关问题