假设我有100个Map器并行运行,总共有500个Map器在运行。
每个Map器接收到的输入大小几乎相同,每个Map器所需的处理时间应该大致相同。
但假设前100名制图员在20分钟内完成,接下来的100名制图员大约需要25-30分钟,下一批100名制图员每人大约需要40-50分钟。然后我们得到gc开销错误。
为什么会这样?
我已经设置了以下配置:
<property><name>mapred.child.java.opts</name><value>-Xmx4096m</value></property>
<property><name>mapred.job.reuse.jvm.num.tasks</name><value>1</value></property>
这里还能做什么?
暂无答案!
目前还没有任何答案,快来回答吧!