我只有一个从mapper到reducer的键，并且我已经设置了10个reducer。一个减速机将在那个键上运行，其余9个减速机将做什么？
l3zydbqr1#
其他9个减速器将运行，直到其插槽时间结束。它们不会有任何k/v对需要处理和快速停止。可以使用自定义分区器将贴图输出均匀地分布到所有缩减器；-至少一级；最后在最后一个阶段通过一个减速机进行合并，从而减少了大部分减速机阶段的计算负载。
h5qlskok2#
其他9个reducer将在其生命周期中正常运行，一旦运行它们就没有任何键/值要处理，因此它们将很快停止。因此，你将浪费资源，而他们不必要的运行。通常（大多数输出格式都会这样做）还会发现reduce的一个部分文件已经运行，但没有写入任何内容。部件文件不包含任何实际数据，只包含文件元数据，例如gzip头。
2条答案
按热度按时间l3zydbqr1#
其他9个减速器将运行，直到其插槽时间结束。
它们不会有任何k/v对需要处理和快速停止。
可以使用自定义分区器将贴图输出均匀地分布到所有缩减器；-至少一级；最后在最后一个阶段通过一个减速机进行合并，从而减少了大部分减速机阶段的计算负载。
h5qlskok2#
其他9个reducer将在其生命周期中正常运行，一旦运行它们就没有任何键/值要处理，因此它们将很快停止。因此，你将浪费资源，而他们不必要的运行。
通常（大多数输出格式都会这样做）还会发现reduce的一个部分文件已经运行，但没有写入任何内容。部件文件不包含任何实际数据，只包含文件元数据，例如gzip头。