我已经看过这个问题的答案了
为什么Spark检测8个核心,而我只有4个?
它似乎无法解释以下场景:我正在设置 spark.executor.cores
五点钟。我有 spark.dynamicAllocation.enabled
设置为true。根据spark历史服务器,我的10节点集群运行30个执行器,这表明spark每个节点使用3个执行器。这似乎表明每个节点有15个核心可用(3个执行器x 5个核心)。m4.xlarge示例的规格是4个vcpu和16 gb内存。这些额外的核心是从哪里来的?
注意:我正在设置 spark.executor.memory
在 3g
以及 yarn.nodemanager.resource.memory-mb
12200点。
暂无答案!
目前还没有任何答案,快来回答吧!