为什么在第一组Map程序完成后,Map作业会变慢?

dwthyt8l  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(227)

假设我有100个Map器并行运行,总共有500个Map器在运行。
每个Map器接收到的输入大小几乎相同,每个Map器所需的处理时间应该大致相同。
但假设前100名制图员在20分钟内完成,接下来的100名制图员大约需要25-30分钟,下一批100名制图员每人大约需要40-50分钟。然后我们得到gc开销错误。
为什么会这样?
我已经设置了以下配置:

<property><name>mapred.child.java.opts</name><value>-Xmx4096m</value></property>
  <property><name>mapred.job.reuse.jvm.num.tasks</name><value>1</value></property>

这里还能做什么?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题