在scala spark作业中运行sql脚本的最佳方法是什么?

eanckbw9  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(318)

我需要在aws emr集群的scala spark作业中运行一个sql脚本。最好的方法是什么?
我可以考虑两种方法来上传sql脚本,但我不确定哪种方法是最好的,以及是否有其他替代方法。
在构建过程中将sql脚本封装在java包中,在spark submit时上传到emr;
把sql脚本放到s3 bucket中,下载到spark job中运行。
另外,建议哪个java库来运行sql脚本?
谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题