将作业提交到具有多个示例的dcos spark？

mdfafbf1 于 2021-06-26 发布在 Mesos

关注(0)|答案(1)|浏览(480)

当我通过cli提交作业时，dcos集群中有两个spark示例

dcos spark run --submit-args="\
                 --driver-cores 8 \
                 --driver-memory 16384M \
                 --conf spark.eventLog.enabled=true \
                 --conf spark.eventLog.dir=hdfs://hdfs/history \
                 --class com.CalcPi \
                 <url to job -spark-test-assembly-0.0.5-SNAPSHOT.jar> 99000000"`

这项工作永远排不住队。但当我只有一个示例时，一切都正常。我已经试过了 --deploy-mode cluster --supervise

apache-spark cluster-computing mesos mesosphere dcos

来源：https://stackoverflow.com/questions/45043411/submit-job-to-dcos-spark-with-multiple-instances

1条答案

按热度按时间

ovfsdjhp1#

下面的配置选项是您需要的答案：

dcos config set spark.app_id spark-one
dcos spark run ...
dcos config set spark.app_id spark-two
dcos spark run ...

赞(0）回复(0）举报 2021-06-26

我来回答

将作业提交到具有多个示例的dcos spark？

1条答案

相关问题

热门标签

最新问答