docker中在mesos上运行spark时出错

moiiocjp  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(276)

我和docker有两个节点。zookeeper、mesos和spark安装在每个docker上。我在“slaves”文件中指定“slaves”,我只有一个主文件和一个从文件。另外,在同一路径中的每个节点上都有一个“docker compose.yaml”。我在每个节点都做“docker compose up”。然后在主节点docker内运行dispatcher:

"/home/spark/sbin/start-mesos-dispatcher.sh     --master 
  mesos://150.20.11.136:5050".

之后,我使用以下命令运行程序:

"/home/spark/bin/spark-submit --name test_mesos --master 
 mesos://150.20.11.136:5050 --executor-cores 4 --executor-memory 6G -- 
 files iran2.npy --py-files a.zip myprogram.py".

运行程序时,出现以下错误:
初始作业未接受任何资源;检查集群ui以确保worker已注册并且具有足够的资源
我找了很多。我禁用防火墙,第一次工作;但现在我一点也不工作了。此外,我还通过docker compose文件中的“expose”打开了docker中的所有端口。我在submit命令中减少了资源。但他们都没能解决我的问题。
你能告诉我我做错了什么吗?
任何帮助都将不胜感激。
提前谢谢。

pkbketx9

pkbketx91#

我用这个命令运行docker,我的程序运行时没有任何错误。但这花了很多时间,我不知道也许是因为中观。

Sudo docker run --network host -it ubuntu_mesos_spark_python3.6_oraclient

我希望这一点解决了别人的问题。

相关问题