如何在hadoop中找到Map端排序时间?

polkgigr  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(253)

我正在研究运行在hadoop2.x之上的out算法的性能。我们想知道计算时间是如何分解成不同的部分的:-Map时间-减少时间-排序时间-洗牌时间
在reduce方面,计数器有一个明显的区别:每个组件(reduce、shuffle、merge)都有一个单独的计数器。在Map方面,也进行了排序,但我找不到与排序时间/数量相关的计数器。我怎样才能知道Map边的分拣时间?
谢谢。

hgncfbus

hgncfbus1#

你说的是Map边分类/溢出。在mapreduce的eash阶段,您可以在这里查找有关性能的良好演示。同样在hadoop definitve指南第6章-map reduce如何工作,shuffle和sort,map side,了解更多理论

相关问题