我按如下方式启动了dispatcher,从日志中可以看出,启动是成功的
./sbin/start-mesos-dispatcher.sh --master mesos://10.0.0.6:5050
rest服务器已在端口7078上激活
我把这份工作交给调度员如下
./bin/spark-submit \
--class com.ibm.cds.spark.samples.HelloSpark \
--master mesos://10.0.0.6:7078 \
--deploy-mode cluster \
--verbose \
https://github.com/../helloSpark.jar
在spark slave上,我在mesos代理sandbox-stderr中得到以下错误。
17/11/22 09:22:06 INFO RestSubmissionClient: Submitting a request to launch an application in mesos://10.0.0.6:5050.
Exception in thread "main" org.apache.spark.deploy.rest.SubmitRestProtocolException: Malformed response received from server
at org.apache.spark.deploy.rest.RestSubmissionClient.readResponse(RestSubmissionClient.scala:268)
at org.apache.spark.deploy.rest.RestSubmissionClient.org$apache$spark$deploy$rest$RestSubmissionClient$$postJson(RestSubmissionClient.s
问:为什么执行人要向mesos master提交启动申请?在spark submit(上图)中,我清楚地给出了spark主机地址(在端口7078)。为什么不拍?
如何避免这个错误?
使用mesos版本1.4.1
1条答案
按热度按时间w9apscun1#
删除了spark-defaults.conf中的所有条目,以下除外。spark.eventlog.enabled true
它现在运行良好,意思是,我没有得到这个错误。
似乎是在spark-defaults.conf中调用了spark.master导致了此问题。