在写入snowflake之前,是否必须将glue动态帧转换为sparkDataframe?

4zcjmb1e  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(246)

在写入snowflake之前,是否总是需要将glue dynamic frame转换为spark dataframe?我没找到别的办法。对2000万张唱片的这种转换占用了大部分时间。写作只需要2分钟。
有人这样做过吗,比如把动态框架直接写到snowflake上?另外,aws glue不支持jdbc连接到snowflake。所以在作业参数中提供连接细节。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题