azure 有没有办法不使用ADF将excel文件从blob存储加载到snowflake?

yc0p9oo0  于 2023-02-25  发布在  其他
关注(0)|答案(1)|浏览(123)

基本上,我有xlsx文件在azure blob容器,我试图使用ADF,但它需要更多的时间来加载数据到 snowflake 表。即使是小文件,它需要30多秒。
我尝试了几个其他的选择,如;
1.复制到命令中:它不支持xlsx

  1. Snowpark:与第1个相同的问题
    如果我能知道这个问题是否有替代方案,那就太好了。
ffdz8vbo

ffdz8vbo1#

根据此Snowflake Document,它目前不支持直接从Excel文件导入数据。您必须更改源文件的格式,如CSV

如果你不使用ADF,则需要首先将Excel文件转换为**CSV**文件。由于Azure Blob存储只是对象存储,以相同的方式处理所有格式。因此,你必须将Excel Blob下载到本地计算机并将其转换为CSV,然后将其上载回Azure Blob存储。

为此,您可以用途:

  • 从blob存储读取excel文件的Azure函数将其转换为CSV并再次加载到blob存储中。
  • Azure blob sdk python使用python panda库将Excel转换为CSV,并再次将其加载到blob存储。
  • Python应用程序,将Excel文件加载到Panda Dataframe ,然后将该 Dataframe 加载到Snowflake。

另请参见类似问题-How to load Excel file data into Snowflake table

相关问题