附加列引发Azure数据工厂中Azure SQL数据接收器的验证问题

bjg7j2ky  于 2023-02-13  发布在  其他
关注(0)|答案(1)|浏览(168)

Validation Error
我遇到了一个奇怪的问题,即对来自Azure数据工厂GUI中的Blob存储源的Azure SQL的数据接收器的“其他列”进行验证失败。无论我们重新创建数据集(或指定另一个数据集,new)多少次,我们都无法解决此验证问题。
讽刺的是,我们从代码中部署这些管道,当我们运行它们时,我们根本不会得到任何错误。这个问题让我们很难进一步开发管道,因为我们必须通过代码做所有事情。我们不能使用管道发布选项。
这里有一些管道的屏幕截图,以便您可以看到流程。
Pipeline
内部副本客户。
Source
Mapping
Sink
任何关于如何修复此验证的想法将不胜感激。
出于实际考虑,我们多次重新创建了数据集(克隆和新建),以避免数据集模型不是最新版本(如www.example.com中所述)的任何问题https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-overview#add-additional-columns-during-copy
有时,通过将接收器中的表设置为autocreate,显示验证已“修复”,但当我们发布它时,错误再次出现。

qhhrdooz

qhhrdooz1#

如果您的Azure SQL数据集是很久以前创建的,并且仍在使用其他列不支持的过时数据集模型,则这是预期行为。
根据Microsoft官方文档
要解决此问题,只需按照错误消息创建新的Azure SQL数据集并将其用作复制接收器。

我遵循错误消息并创建了新的数据集,它对我来说工作正常。

来源:

Map:

Flume:

输出:

相关问题