-jars在mesos上运行spark

55ooxyrt  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(452)

我正在试着在mesos上运行一个流式spark字数统计。当我尝试将代码部署到集群并运行时,--jars中列出的jar文件不会被复制到沙盒中。如果我在客户机模式下运行,它们会被复制,我的代码也会运行。JAR和mesos——部署模式集群一起工作吗?
我正在运行apachespark2.0.0-preview和mesos 0.28。
spark的mesos调度员和我的mesos主从一起运行。而且,Zookeeper也在跑步。下面是spark submit调用。
(从$spark\家中运行)

bin/spark-submit --class my.class.name --master mesos://<ip>:7077 \
--deploy-mode cluster --num-executors 1 --executor-memory 512M \
--total-executor-cores 1 --jars /full/path/jar1.jar,/full/path/jar2.jar \
project.jar parm1 parm2 parm3 parm4

这会导致一个错误,说明它在jar1中找不到类。最后,我可以使用与上面相同的语法(没有--jars)从示例jar运行sparkpi,一切都运行得很好。

sxissh06

sxissh061#

我想你得把jar放在一个便于遗嘱执行人取用的地方,明白吗
http://spark.apache.org/docs/latest/running-on-mesos.html#cluster-模式
请注意,传递给spark submit的jar或python文件应该可以被mesos从机访问,因为spark驱动程序不会自动上载本地jar。

相关问题