因此,我部署了一个带有apachemesos和apachespark的集群,并且我有几个任务需要在集群上执行。我想确保一个作业有足够的资源来成功执行,如果不是这样,它必须返回一个错误。
spark提供了如下设置 spark.cores.max
以及 spark.executor.memory
以限制作业使用的资源,但没有设置下限(例如,将作业的最小核心数设置为8)。
我正在寻找一种方法来确保作业在执行之前(例如在资源分配期间)有足够的资源,您知道在mesos上使用apachespark是否可以获得这些信息吗?
暂无答案!
目前还没有任何答案,快来回答吧!