可能有人已经有经验来建立Spark码头形象?我想建立docker形象与Spark内,但对远程Yarn集群配置。我已经用spark1.6.2创建了一个图像。但当我跑的时候
spark-shell --master yarn --deploy-mode client --driver-memory 32G --executor-memory 32G --executor-cores 8
在docker内部,我得到以下异常诊断:java.io.filenotfoundexception:file file:/usr/local/spark/lib/spark-assembly-1.6.2-hadoop2.2.0.jar不存在
有什么建议吗?我需要加载spark assembly i hdfs并设置spark.yarn.jar吗=hdfs://spark-assembly-1.6.2-hadoop2.2.0.jar ?
这是我的文件https://gist.github.com/ponkin/cac0a071e7fe75ca7c390b7388cf4f91
暂无答案!
目前还没有任何答案,快来回答吧!