是否可以在一个mesos集群上运行多个spark应用程序?

qco9c6ql  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(414)

我有一个mesos集群,有1个主集群和3个从集群(每个集群有2个内核和4gb ram),它已经有了一个spark应用程序并正在运行。我想在同一个集群上运行另一个应用程序,因为cpu和内存利用率不高。不管怎样,当我尝试运行新的应用程序时,会出现以下错误: 16/02/25 13:40:18 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory 我猜新进程没有得到任何cpu,因为旧进程占用了所有6个cpu。我尝试过启用动态分配,使spark应用程序细粒度化。分配多个执行器核心和执行器数量的组合。我错过了什么?有没有可能用多个spark框架运行一个mesos集群?

mctunoxg

mctunoxg1#

您可以尝试设置 spark.cores.max 限制每个spark驱动程序使用的cpu数量,这将释放一些资源。
文件:https://spark.apache.org/docs/latest/configuration.html#scheduling

相关问题