电Spark加工机群芯数的研究

6yt4nkrj  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(316)

我有一个电子病历集群的Spark与以下配置的2个示例。

r4.2xlarge
8 vCore

所以我的vcores总数是16,同样的结果也反映在Yarnvcores中
我已经提交了一个带有参数的spark流作业——numexecutors 2——executor cores 5。所以我假设它将使用25总共10个vcore作为执行器,但是它所做的仅仅使用集群中的2个核心(+1作为驱动程序)
.

而在spark中,作业仍然以10(2
5)的并行任务运行。似乎它只是在每个执行器内核中运行5个线程。

我读过不同的问题和文档——executor cores使用实际的vCore,但在这里,它只以线程的形式运行任务。我的理解正确吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题