在集群模式下使用mesos调度器时mesos代理上的spark executor失败

yhived7q  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(353)

我按如下方式启动了dispatcher,从日志中可以看出,启动是成功的

./sbin/start-mesos-dispatcher.sh --master mesos://10.0.0.6:5050

rest服务器已在端口7078上激活
我把这份工作交给调度员如下

./bin/spark-submit \
  --class com.ibm.cds.spark.samples.HelloSpark \
  --master mesos://10.0.0.6:7078 \
  --deploy-mode cluster \
  --verbose \
  https://github.com/../helloSpark.jar

在spark slave上,我在mesos代理sandbox-stderr中得到以下错误。

17/11/22 09:22:06 INFO RestSubmissionClient: Submitting a request to launch an application in mesos://10.0.0.6:5050.
Exception in thread "main" org.apache.spark.deploy.rest.SubmitRestProtocolException: Malformed response received from server
    at org.apache.spark.deploy.rest.RestSubmissionClient.readResponse(RestSubmissionClient.scala:268)
    at org.apache.spark.deploy.rest.RestSubmissionClient.org$apache$spark$deploy$rest$RestSubmissionClient$$postJson(RestSubmissionClient.s

问:为什么执行人要向mesos master提交启动申请?在spark submit(上图)中,我清楚地给出了spark主机地址(在端口7078)。为什么不拍?
如何避免这个错误?
使用mesos版本1.4.1

w9apscun

w9apscun1#

删除了spark-defaults.conf中的所有条目,以下除外。spark.eventlog.enabled true
它现在运行良好,意思是,我没有得到这个错误。
似乎是在spark-defaults.conf中调用了spark.master导致了此问题。

相关问题