为什么向mesos提交spark应用程序失败的原因是“could not parse master url:”mesos://localhost:5050'"?

1cosmwyk  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(593)

当我尝试向mesos群集提交spark应用程序时,出现以下异常:
17/01/31 17:04:21警告nativecodeloader:无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类17/01/31 17:04:22 error sparkcontext:初始化sparkcontext时出错。org.apache.spark.sparkexception:无法分析主url:'mesos://localhost:5050'位于org.apache.spark.sparkcontext$.org$apache$sparkcontext$$createtaskscheduler(sparkcontext)。scala:2550)在org.apache.spark.sparkcontext。scala:501)

dced5bon

dced5bon1#

您可能使用了错误的命令来构建spark,例如,missing -Pmesos . 你应该用 ./build/mvn -Pmesos -DskipTests clean package 从spark 2.1.0开始。

相关问题