我有一个mesos集群,有1个主集群和3个从集群(每个集群有2个内核和4gb ram),它已经有了一个spark应用程序并正在运行。我想在同一个集群上运行另一个应用程序,因为cpu和内存利用率不高。不管怎样,当我尝试运行新的应用程序时,会出现以下错误: 16/02/25 13:40:18 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
我猜新进程没有得到任何cpu,因为旧进程占用了所有6个cpu。我尝试过启用动态分配,使spark应用程序细粒度化。分配多个执行器核心和执行器数量的组合。我错过了什么?有没有可能用多个spark框架运行一个mesos集群?
1条答案
按热度按时间mctunoxg1#
您可以尝试设置
spark.cores.max
限制每个spark驱动程序使用的cpu数量,这将释放一些资源。文件:https://spark.apache.org/docs/latest/configuration.html#scheduling