通过mesos启动spark

pqwbnv8z 于 2021-06-21 发布在 Mesos

关注(0)|答案(1)|浏览(331)

我正在尝试通过mesos集群启动spark，我已经通过mesos主机和注册spark框架成功运行了spark调度器。但当我试图开始任何工作（spark submit或spark shell）时，我停止了，什么也没发生。

I0708 16:30:43.319941 21373 sched.cpp:157] Version: 0.22.1
I0708 16:30:43.331514 21375 sched.cpp:254] New master detected at master@host
I0708 16:30:43.333658 21375 sched.cpp:264] No credentials provided. Attempting to register without authentication

在客户冻结之后

apache-spark mesos

来源：https://stackoverflow.com/questions/31294515/start-spark-via-mesos

1条答案

按热度按时间

j9per5c41#

我用@besil提出的解决方案解决了同样的问题：
步骤1：使用以下命令启动dispatcher：

--master mesos://zk://<master_host>:2181/mesos

第二步：提交申请：

spark-submit --deploy-mode cluster <other options> --master mesos://<dispatcher_ip>:7077 --class <class_name> <jar>

希望这有帮助

赞(0）回复(0）举报 2021-06-21

我来回答

通过mesos启动spark

1条答案

相关问题

热门标签

最新问答