我正在研究运行在hadoop2.x之上的out算法的性能。我们想知道计算时间是如何分解成不同的部分的:-Map时间-减少时间-排序时间-洗牌时间在reduce方面,计数器有一个明显的区别:每个组件(reduce、shuffle、merge)都有一个单独的计数器。在Map方面,也进行了排序,但我找不到与排序时间/数量相关的计数器。我怎样才能知道Map边的分拣时间?谢谢。
hgncfbus1#
你说的是Map边分类/溢出。在mapreduce的eash阶段,您可以在这里查找有关性能的良好演示。同样在hadoop definitve指南第6章-map reduce如何工作,shuffle和sort,map side,了解更多理论
1条答案
按热度按时间hgncfbus1#
你说的是Map边分类/溢出。在mapreduce的eash阶段,您可以在这里查找有关性能的良好演示。同样在hadoop definitve指南第6章-map reduce如何工作,shuffle和sort,map side,了解更多理论