我有一个虚拟化集群，4个节点中有Hadoop2.9。每个节点有16个cpu和126 gb ram。如果我尝试将yarn.scheduler.minimum-allocation-vcore设置为不同于1的值，那么当我运行spark submit声明yarn为master时，每个容器只使用1个vcore。有没有办法克服这个问题？谢谢！
kmb7vmvb1#
使用 spark.executor.cores . 来自文档：每个执行器上要使用的核心数。在独立和mesos粗粒度模式下，设置此参数允许应用程序在同一个worker上运行多个执行器，前提是该worker上有足够的内核。否则，每个应用程序只能在每个辅助进程上运行一个执行器。默认情况下：1Yarn模式
spark.executor.cores
1条答案
按热度按时间kmb7vmvb1#
使用
spark.executor.cores. 来自文档：每个执行器上要使用的核心数。在独立和mesos粗粒度模式下，设置此参数允许应用程序在同一个worker上运行多个执行器，前提是该worker上有足够的内核。否则，每个应用程序只能在每个辅助进程上运行一个执行器。
默认情况下：
1Yarn模式