我有一个关于hadoopyarn 2.7.1中平均合并时间的问题我在7节点的集群上运行了一个wordcount示例，其中包含一个txt文件（1.5gb）如下图所示，一个作业有12个map任务和1个reduce任务，平均合并时间是多少？这是否意味着12个Map输出的排序或合并为零？截图请引导我
iqjalb3h1#
不，平均合并时间为 avg(sortFinishTime-shuffleFinishTime) reducer在shuffle期间接收来自多个Map器的输入。一旦接收到输入，它们就被附加到reducer的单个文件中（本地）并进行排序。一旦分类，减少阶段开始。average merge time是洗牌阶段之后和减少阶段开始之前所用的平均时间。
avg(sortFinishTime-shuffleFinishTime)
1条答案
按热度按时间iqjalb3h1#
不，
平均合并时间为
avg(sortFinishTime-shuffleFinishTime)reducer在shuffle期间接收来自多个Map器的输入。一旦接收到输入，它们就被附加到reducer的单个文件中（本地）并进行排序。一旦分类，减少阶段开始。average merge time是洗牌阶段之后和减少阶段开始之前所用的平均时间。