pass用于构建spark-submit-hydrosphere的外部依赖

py49o6xq  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(185)

我现在用的是带水气雾的Spark。
我的项目依赖于外部库(.jar文件)和其他一些包,比如

1. somejarfile.jar
 2. org.apache.hadoop:hadoop-aws:2.7.4,
 3. org.apache.hadoop:hadoop-client:2.7.4

要在mist中传递外部依赖,我可以使用run选项配置上下文。
配置外部jar。

mycontext.run-options="--jars somejarfile.jar"

配置外部包。

mycontext.run-options="--packages org.apache.hadoop:hadoop-aws:2.7.4,org.apache.hadoop:hadoop-client:2.7.4"

可以用jar和包来配置运行选项吗?

`mycontext.run-options="--jars somejarfile.jar, --packages org.apache.hadoop:hadoop-aws:2.7.4,org.apache.hadoop:hadoopclient:2.7.4"`.

我被困在这里了。如能帮助解决上述问题,我们将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题