hadoop性能瓶颈

xpcnnkqh  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(272)

我的一个减速机在级联工作中有问题。我所有的减速机(除了一个)都在大约4分钟内完成,但是有一个需要2小时来计算结果。我检查过,单个减速机的map输出量大致相同:
3977529-问题reducer的reduce输入记录数
3950478-此作业中常用的reducer使用的reduce输入记录数
没有太大的差别,但如果我们比较减速机的输出记录,差别会大得多:
388084339-问题reducer的reduce输出记录数
4082267-此作业中常用的reducer生成的reduce输出记录数
我还注意到(多亏了-xprof选项),有问题的reducer几乎所有的时间都花在了next方法上:
sun.nio.ch.epollarraywrapper.epollwait
有问题的reducer没有在gc中花费太多时间-在计数器之前。
你有什么线索吗?我怎样才能解决这个问题?也许更改作业配置会有所帮助。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题