我和docker有两个节点。zookeeper、mesos和spark安装在每个docker上。我在“slaves”文件中指定“slaves”,我只有一个主文件和一个从文件。另外,在同一路径中的每个节点上都有一个“docker compose.yaml”。我在每个节点都做“docker compose up”。然后在主节点docker内运行dispatcher:
"/home/spark/sbin/start-mesos-dispatcher.sh --master
mesos://150.20.11.136:5050".
之后,我使用以下命令运行程序:
"/home/spark/bin/spark-submit --name test_mesos --master
mesos://150.20.11.136:5050 --executor-cores 4 --executor-memory 6G --
files iran2.npy --py-files a.zip myprogram.py".
运行程序时,出现以下错误:
初始作业未接受任何资源;检查集群ui以确保worker已注册并且具有足够的资源
我找了很多。我禁用防火墙,第一次工作;但现在我一点也不工作了。此外,我还通过docker compose文件中的“expose”打开了docker中的所有端口。我在submit命令中减少了资源。但他们都没能解决我的问题。
你能告诉我我做错了什么吗?
任何帮助都将不胜感激。
提前谢谢。
1条答案
按热度按时间pkbketx91#
我用这个命令运行docker,我的程序运行时没有任何错误。但这花了很多时间,我不知道也许是因为中观。
我希望这一点解决了别人的问题。