我已经在Asure数据工厂中从客户输入数据构建了数据流。我们在Azure数据工厂中设计了基于Alteryx（另一个Etl工具）构建的工作流。现在测试样本数据在两侧都是正确的。但是如何验证Alteryx和Azure的整个输出是否匹配/验证。有没有工具。我的输出文件格式是CSV。是否有任何自动化过程来验证Alteryx输出和Azure输出的所有行，以便我可以确保我已经构建了正确的数据流逻辑。
uinbv5nw1#
如果您想要验证整个数据集（数据集满足特定条件等），您应该能够通过验证活动来验证整个数据集：https://learn.microsoft.com/en-us/azure/data-factory/control-flow-validation-activity不支持直接对Alteryx输出进行数据集验证，在这种情况下，您需要将刚刚在Alteryx中转换的数据集存储在某个位置（如Blob存储区），然后可以在那里进行验证。验证活动通常支持文件存储系统，如datalake、（S）FTP或关系数据库。如果要检查某些行是否已正确转换，请执行查找活动，它支持更多的源，您可以检查某些行，否则，在If条件中查找为True时管道失败。如果查找为False，您可以将Fail放入其中并指定错误消息。
1条答案
按热度按时间uinbv5nw1#
如果您想要验证整个数据集（数据集满足特定条件等），您应该能够通过验证活动来验证整个数据集：
https://learn.microsoft.com/en-us/azure/data-factory/control-flow-validation-activity
不支持直接对Alteryx输出进行数据集验证，在这种情况下，您需要将刚刚在Alteryx中转换的数据集存储在某个位置（如Blob存储区），然后可以在那里进行验证。验证活动通常支持文件存储系统，如datalake、（S）FTP或关系数据库。
如果要检查某些行是否已正确转换，请执行查找活动，它支持更多的源，您可以检查某些行，否则，在If条件中查找为True时管道失败。如果查找为False，您可以将Fail放入其中并指定错误消息。