在设置角色配额时,meso上的spark执行器不平衡

nhaq1z21  于 2021-06-26  发布在  Mesos
关注(0)|答案(0)|浏览(120)

我将在mesos上运行spark作业,并希望限制指定角色的资源。
我试着在我的工作中运行5个执行者

spark-shell \
--master mesos://zk://host1:2181,host2:2181,host3:2181/mesos \
--conf spark.executor.cores=1 \
--conf spark.cores.max=5 \
--conf spark.mesos.role=myrole

当配额设置被禁用时,我可以获得许多资源提供来分发执行器,这很好。

18/01/25 13:35:49 DEBUG MesosCoarseGrainedSchedulerBackend: Received 4 resource offers.

如果启用配额设置(http://mesos.apache.org/documentation/latest/quota/),那么我总是只能得到一个资源。

18/01/25 13:36:31 DEBUG MesosCoarseGrainedSchedulerBackend: Received 1 resource offers.

我不知道那里发生了什么
我的环境:
Spark2.2
mesos 1.4.1(主3,从5)
centos 7.3版

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题