spark-on-mesos如何设置驱动程序的位置

3okqufwl  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(391)

我让星火以星团模式在Mesos上运行。
当我提交作业时,驱动程序在任何从属节点上随机运行。有没有办法我可以指定司机的位置?例如,我要运行的从机的ip。。
我能用spark.driver.host吗
谢谢,

ffscu2ro

ffscu2ro1#

否。在群集模式下,即使用 --deploy-mode cluster 中的选项 ./bin/spark-submit 命令,则在群集中的节点上启动驱动程序。你不应该设置 spark.driver.host 和/或 spark.driver.port 因为这是由 SparkContext .

相关问题