apachespark和mesos的资源分配

mlnl4t2r  于 2021-06-21  发布在  Mesos
关注(0)|答案(0)|浏览(172)

因此,我部署了一个带有apachemesos和apachespark的集群,并且我有几个任务需要在集群上执行。我想确保一个作业有足够的资源来成功执行,如果不是这样,它必须返回一个错误。
spark提供了如下设置 spark.cores.max 以及 spark.executor.memory 以限制作业使用的资源,但没有设置下限(例如,将作业的最小核心数设置为8)。
我正在寻找一种方法来确保作业在执行之前(例如在资源分配期间)有足够的资源,您知道在mesos上使用apachespark是否可以获得这些信息吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题