我正在做一个Spark工作基准。在第一阶段(仅Map和过滤)中,当阶段大约为50%时,所有节点上的平均负载都会减少,但在我的节点中有一些“循环”负载:将逐个使用(cf ganglia graphics:green,next blue,next orange,…)
为什么我的节点现在在同一阶段被一个接一个地使用?是因为我的公羊满了还是类似的?
工作台具有以下特点:
Spark1.6与hdfsYarn
10个节点,每个1.5tb,60gb ram,16核
8.5tb的数据(复制1)
谢谢
我正在做一个Spark工作基准。在第一阶段(仅Map和过滤)中,当阶段大约为50%时,所有节点上的平均负载都会减少,但在我的节点中有一些“循环”负载:将逐个使用(cf ganglia graphics:green,next blue,next orange,…)
为什么我的节点现在在同一阶段被一个接一个地使用?是因为我的公羊满了还是类似的?
工作台具有以下特点:
Spark1.6与hdfsYarn
10个节点,每个1.5tb,60gb ram,16核
8.5tb的数据(复制1)
谢谢
暂无答案!
目前还没有任何答案,快来回答吧!