如何连接Spark壳Mesos?

pdkcd3nj  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(342)

我正在尝试将apache spark设置为在mesos上运行,但在终端上收到以下消息:
w0309 10:37:10.570291 4017附表。cpp:700]忽略框架注册的消息,因为它是从master@127.0.1.1:5050'代替主控'master@127.0.0.1:5050'
这个消息一直出现在spark shell上,我无法运行任何命令。我使用以下命令启动spark shell:

./bin/spark-shell --master mesos://127.0.0.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz

当我检查mesoswebui上的framework选项卡时,sparkshell被列为一个框架。
你知道我为什么面对上面的消息而不能从sparkshell运行命令吗?或者,有什么好的参考资料可以在mesos上运行spark?

ep6jt1vc

ep6jt1vc1#

我会在这里做一些任务,但我假设你没有指定一个 --ip 启动时的参数 mesos-master.sh . 在这种情况下,您应该将启动脚本更改为: ./bin/spark-shell --master mesos://127.0.1.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz 我猜你有 127.0.1.1 进入你的 /etc/hosts (或在您的系统上用于该解决方案的任何文件)并且mesos正在解决 127.0.1.1 默认情况下。你可以用 ip 参数将其更改为 127.0.0.1 如果你出于某种原因喜欢的话。

相关问题