mesos和spark星团将mesos任务限制为两个

bmp9r5qi  于 2021-06-26  发布在  Mesos
关注(0)|答案(0)|浏览(264)

我想在mesos集群上运行spark应用程序。部署模式将是群集模式。从mesos web ui中,我看到了以下内容:

Resources
CPUs    GPUs    Mem     Disk
Total   64  0   60.5 GB     68.0 GB
Allocated   6   0   4.5 GB  0 B
Offered     0   0   0 B     0 B
Idle    58  0   56.0 GB     68.0 GB

当在没有额外配置选项的情况下运行我的应用程序时,我得到了一个spark执行器,分配了27个内核,这样就分配了一个mesos任务。如果我这样做

spark-submit --conf spark.executor.cores=4 --conf spark.max.cores=26.....

根据这里的链接,我希望看到6个执行器,每个执行器有4个核心。但我得到的总是两个执行器,每个执行器有4个核心。尝试了许多配置组合,如

spark.executor.cores 2 and spark.max.cores 10 to get 5 executors

但我得到的只是两个执行器(mesos任务),每个执行器有两个核心。你能为我如何在我的mesos集群上实现我想要的执行者数量提供一些帮助吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题