为什么合并器输入记录比Map器输出记录多?

vaqhlq81  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(277)

合路器工作在Map器的输出记录上。如果Map器输出记录被馈送到组合器,那么为什么我的组合器输入记录多于Map器输出记录?
我额外得到了这80张唱片。我不知道它们是从哪里来的&它们的价值是什么。
mapreduceYarn转储:

Map-Reduce Framework
            Map input records=80000000
            Map output records=80000000
            Map output bytes=2560000000
            Map output materialized bytes=80
            Input split bytes=220
            Combine input records=80000083
            Combine output records=85
            Reduce input groups=1
            Reduce shuffle bytes=80
            Reduce input records=2
            Reduce output records=3
            Spilled Records=87
            Shuffled Maps =2
            Failed Shuffles=0
            Merged Map outputs=2
            GC time elapsed (ms)=4124
            CPU time spent (ms)=90530
            Physical memory (bytes) snapshot=573521920
            Virtual memory (bytes) snapshot=2509766656
            Total committed heap usage (bytes)=411041792

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题