dcos:spark不断下载docker镜像

pod7payv  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(389)

我正在运行dcos spark submit,每次它说好像你是第一次运行时,它都会不断下载docker图像。在谷歌上找不到任何线索。

spark_submit_jobs$ dcos spark run --submit-args='-Dspark.mesos.coarse=true --driver-cores 1 --driver-memory 1024M --class org.apache.spark.examples.SparkPi https://downloads.mesosphere.com/spark/assets/spark-examples_2.10-1.4.0-SNAPSHOT.jar 30'

Spark分布Spark-1.6.2未在本地找到。看来这是你第一次跑步!下载https://downloads.mesosphere.com/spark/assets/spark-1.6.2.tgz...
尝试拆卸和安装Spark塞。
我正在运行:1.0.1-1.6.2和1.0.6-2.0.2-hadoop-2.6
我有两个集群运行两个不同版本的spark,一个一切正常,但另一个会导致旧版本出现问题。

mnemlml8

mnemlml81#

两个可能的原因:
1.6.2将文件保存在tmp dir中,每次尝试使用1.6.3时都会覆盖该文件
使用根帐户运行dcos命令。

相关问题