排序—在具有“x”Map器和“y”还原器的大型mapreduce作业中,在排序/无序排列阶段将有多少不同的复制操作

yhived7q  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(309)

据我所知,将有x+y复制操作,纠正我,如果我错了
谢谢

kmbjn2e3

kmbjn2e31#

在最坏的情况下,每个reducer可能会从所有Map器中获取记录,假设所有可用的Map器中都有它的键。在最坏的情况下,一个减速机可以复制x份。这将导致xy操作,而不是x+y。

相关问题