当我尝试向mesos群集提交spark应用程序时,出现以下异常:
17/01/31 17:04:21警告nativecodeloader:无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类17/01/31 17:04:22 error sparkcontext:初始化sparkcontext时出错。org.apache.spark.sparkexception:无法分析主url:'mesos://localhost:5050'位于org.apache.spark.sparkcontext$.org$apache$sparkcontext$$createtaskscheduler(sparkcontext)。scala:2550)在org.apache.spark.sparkcontext。scala:501)
1条答案
按热度按时间dced5bon1#
您可能使用了错误的命令来构建spark,例如,missing
-Pmesos
. 你应该用./build/mvn -Pmesos -DskipTests clean package
从spark 2.1.0开始。