我将在mesos上运行spark作业,并希望限制指定角色的资源。
我试着在我的工作中运行5个执行者
spark-shell \
--master mesos://zk://host1:2181,host2:2181,host3:2181/mesos \
--conf spark.executor.cores=1 \
--conf spark.cores.max=5 \
--conf spark.mesos.role=myrole
当配额设置被禁用时,我可以获得许多资源提供来分发执行器,这很好。
18/01/25 13:35:49 DEBUG MesosCoarseGrainedSchedulerBackend: Received 4 resource offers.
如果启用配额设置(http://mesos.apache.org/documentation/latest/quota/),那么我总是只能得到一个资源。
18/01/25 13:36:31 DEBUG MesosCoarseGrainedSchedulerBackend: Received 1 resource offers.
我不知道那里发生了什么
我的环境:
Spark2.2
mesos 1.4.1(主3,从5)
centos 7.3版
暂无答案!
目前还没有任何答案,快来回答吧!