spark集群“循环”加载

z6psavjg  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(210)

我正在做一个Spark工作基准。在第一阶段(仅Map和过滤)中,当阶段大约为50%时,所有节点上的平均负载都会减少,但在我的节点中有一些“循环”负载:将逐个使用(cf ganglia graphics:green,next blue,next orange,…)

为什么我的节点现在在同一阶段被一个接一个地使用?是因为我的公羊满了还是类似的?
工作台具有以下特点:
Spark1.6与hdfsYarn
10个节点,每个1.5tb,60gb ram,16核
8.5tb的数据(复制1)
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题