我尝试通过ADF从ADLS中的csv文件向Azure SQL执行增量数据加载。我面临的问题是Azure SQL将生成主键列（ID），数据将被插入Azure SQL。但当管道被重新触发时，数据将再次被复制。那么我如何处理这些重复？因为每次只应更新增量加载，但由于主键列是由SQL生成的，因此每次运行时都会有重复项。请帮助！！
gajydyqb1#
您可以考虑通过排除主键列来首先比较源数据和接收数据，然后筛选已修改行并将其放入接收表在下面的视频中，我创建了一个散列在几个来自源和接收器的列的顶部，并比较它们来识别更改的数据。同样的方法，您可以考虑先检查更改的数据，然后将其加载到接收器表。https://www.youtube.com/watch?v=i2PkwNqxj1E
1条答案
按热度按时间gajydyqb1#
您可以考虑通过排除主键列来首先比较源数据和接收数据，然后筛选已修改行并将其放入接收表
在下面的视频中，我创建了一个散列在几个来自源和接收器的列的顶部，并比较它们来识别更改的数据。同样的方法，您可以考虑先检查更改的数据，然后将其加载到接收器表。https://www.youtube.com/watch?v=i2PkwNqxj1E