我想在mesos集群上运行spark应用程序。部署模式将是群集模式。从mesos web ui中,我看到了以下内容:
Resources
CPUs GPUs Mem Disk
Total 64 0 60.5 GB 68.0 GB
Allocated 6 0 4.5 GB 0 B
Offered 0 0 0 B 0 B
Idle 58 0 56.0 GB 68.0 GB
当在没有额外配置选项的情况下运行我的应用程序时,我得到了一个spark执行器,分配了27个内核,这样就分配了一个mesos任务。如果我这样做
spark-submit --conf spark.executor.cores=4 --conf spark.max.cores=26.....
根据这里的链接,我希望看到6个执行器,每个执行器有4个核心。但我得到的总是两个执行器,每个执行器有4个核心。尝试了许多配置组合,如
spark.executor.cores 2 and spark.max.cores 10 to get 5 executors
但我得到的只是两个执行器(mesos任务),每个执行器有两个核心。你能为我如何在我的mesos集群上实现我想要的执行者数量提供一些帮助吗?
暂无答案!
目前还没有任何答案,快来回答吧!