我在Azure数据工厂中有一个blob存储容器，其中包含许多JSON文件。每个JSON文件都包含来自API的数据。数据需要拆分到Azure DWH中的约30个表中。
ADF Processhere
我希望有人能提供一些清晰的最佳方法来实现这一点（我是数据工程领域的新手，并试图通过项目来发展我的技能）。
目前，我已经编写了一个存储过程，其中包含了从30个表中提取数据并将数据插入其中一个表的代码。这是正确的方法吗？如果是，您能否建议如何最好地设计我的管道？
先谢了。
我在Azure数据工厂中有一个blob存储容器，其中包含许多JSON文件。每个JSON文件都包含来自API的数据。数据需要拆分到Azure DWH中的约30个表中。
ADF Processhere
我希望有人能提供一些清晰的最佳方法来实现这一点（我是数据工程领域的新手，并试图通过项目来发展我的技能）。
目前，我已经编写了一个存储过程，其中包含了从30个表中提取数据并将数据插入其中一个表的代码。这是正确的方法吗？如果是，您能否建议如何最好地设计我的管道？
先谢了。
1条答案
按热度按时间bf1o4zei1#
我假设你也有30个文件夹在容器和eachdata从每个文件夹将降落在一个表中，或者可能是文件的命名方式，这样你就可以dereive它降落在哪个表上。请阅读有关获取 meta数据活动，它应该给予一个想法，如何获得文件名/文件夹名称：https://learn.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity
一旦你知道了，我想你应该阅读关于参数化数据集：这也是