CREATE PROCEDURE usp_update_watermark
@LastModifiedtime datetime
AS
BEGIN
UPDATE watermarktable
SET [WatermarkValue] = @LastModifiedtime
WHERE [TableName] = @TableName
END
在ADF中执行两个查找活动。
查找活动1是从水位线表中读取值。
查找活动2用于从源表中读取最大水位线值。
复制数据活动将按顺序添加到查找活动1和2中。因此,它将在查找活动1和2之后运行。
在复制数据源设置中编写一个查询,以便在查找活动1水位线值和查找活动2水位线值之间复制数据。
select * from data_source_table where
LastModifytime > '@{activity('LookupLastWaterMarkActivity').output.firstRow.WatermarkValue}'
and LastModifytime <= '@{activity('LookupCurrentWaterMarkActivity').output.firstRow.NewWatermarkvalue}'
1条答案
按热度按时间vltsax251#
然后执行存储过程活动,并包含更新水位线表的存储过程。
将查找activity2输出作为参数传递给存储过程。
发布并运行管道。
在第一次运行中,将复制所有数据,并使用新值更新水位线表。
从下次运行开始,将仅从新水位线值复制数据。
**参考:**Microsoft文档Incrementally copy a table using PowerShell - Azure Data Factory | Microsoft Learn