使用Python ODBC驱动程序将数百个CSV文件加载到相应的Snowflake表中

dfty9e19  于 2023-03-27  发布在  Python
关注(0)|答案(1)|浏览(120)

我有一个Red Hat Linux服务器和数百个CSV文件(大多数文件大小为100MB)。我在此服务器上安装了Snowflake ODBC驱动程序,我想迭代地将这些文件加载到相应的Snowflake表中。我正在寻找解决方案。有人可以帮助吗?谢谢。
我无法找到加载CSV文件的解决方案。我在互联网上找到的一些解决方案只是通过运行insert语句并在insert子句中提供字段名称来加载1个CSV文件。但在我的情况下,有多个CSV文件,这些文件具有不同的列数。因此,该解决方案不可行。

goucqfw6

goucqfw61#

您可以为每个CSV文件创建一个STAGE,然后将它们加载到相应的STAGE。从该阶段,您可以将它们加载到表中。将一个阶段Map到一个表(源代码类似的概念)。我已经快速编写了一个PYTHON程序,可能会对您有所帮助。该程序在这里
https://github.com/rajib76/sf_ops
如果使用PYTHON Package 加载逻辑,则可以通过调度程序自动执行此操作

相关问题