如果我们在集群中有48个核心,如果我们在spark submit实用程序中分配所有核心,spark将创建多少个任务?

t3irkdon  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(250)

我参考了很多文章,上面说一个任务的数量取决于核心的数量和分区的数量。
spark submit命令配置:--num executors 13--executor memory 15g--executor cores 4
预期:任务:12*4=48,一个应用程序主执行器(假设)
以及
集群配置:头节点:4核,28gb内存,2节点工作节点:4核,28gb内存,13节点
我不明白为什么它会创建57个任务?请帮我理解一下。
我附上了一半的图片作为参考(任务细节)。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题