在hdfs上运行带有mesos和spark包的spark

kupeojn6  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(180)

我尝试用mesos运行pyspark,我的spark包被上传到本地可访问的hdfs。
然而,每当我尝试启动shell时,总是出现以下错误

16/04/18 22:21:33 INFO CoarseMesosSchedulerBackend: Blacklisting Mesos slave a8509a2e-fad8-485d-850e-8243fd2ee449-S0 due to too many failures; is Spark installed on it?

我在spark-env.sh中添加了以下内容

export MESOS_NATIVE_JAVA_LIBRAR=/usr/local/lib/libmesos.so
export SPARK_EXECUTOR_URI=hdfs://ipaddress:9000/spark/spark-1.6.1-bin-hadoop2.6

但似乎奴隶仍然找不到Spark包来执行。如何解决此问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题