在docker容器内运行spark shell,对抗远程Yarn簇

wljmcqd8  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(311)

可能有人已经有经验来建立Spark码头形象?我想建立docker形象与Spark内,但对远程Yarn集群配置。我已经用spark1.6.2创建了一个图像。但当我跑的时候

spark-shell --master yarn --deploy-mode client --driver-memory 32G --executor-memory 32G --executor-cores 8

在docker内部,我得到以下异常诊断:java.io.filenotfoundexception:file file:/usr/local/spark/lib/spark-assembly-1.6.2-hadoop2.2.0.jar不存在
有什么建议吗?我需要加载spark assembly i hdfs并设置spark.yarn.jar吗=hdfs://spark-assembly-1.6.2-hadoop2.2.0.jar ?
这是我的文件https://gist.github.com/ponkin/cac0a071e7fe75ca7c390b7388cf4f91

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题