当我在m4.xlarge emr示例上只有4个内核时,spark如何使用15个内核?

i5desfxk  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(231)

我已经看过这个问题的答案了
为什么Spark检测8个核心,而我只有4个?
它似乎无法解释以下场景:我正在设置 spark.executor.cores 五点钟。我有 spark.dynamicAllocation.enabled 设置为true。根据spark历史服务器,我的10节点集群运行30个执行器,这表明spark每个节点使用3个执行器。这似乎表明每个节点有15个核心可用(3个执行器x 5个核心)。m4.xlarge示例的规格是4个vcpu和16 gb内存。这些额外的核心是从哪里来的?
注意:我正在设置 spark.executor.memory3g 以及 yarn.nodemanager.resource.memory-mb 12200点。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题