如果我们有12个分区键，只有8个缩减器，那么将创建多少op part文件？创建的零件文件数量是否为12，即使4个减速器可用于2个键。也就是说，1减速机会发出2个零件文件，因为它是采取2键（4减速机）或两个键（给1减速机）的数据将被合并到一个零件文件，因此只生成8个零件文件？
jogvjijk1#
如果4个reducer对2个键起作用，则创建的部件文件数将为8个。即使reduce任务需要多个键，它也只会生成一个部件文件。reduce任务分区可能包含多个键并对它们进行排序。reducer类中的reduce方法将按键的排序顺序获取这些键。您可以从以下链接中阅读更多关于此的信息。1） 雅虎2） hadoop权威指南tom white
1条答案
按热度按时间jogvjijk1#
如果4个reducer对2个键起作用，则创建的部件文件数将为8个。即使reduce任务需要多个键，它也只会生成一个部件文件。reduce任务分区可能包含多个键并对它们进行排序。reducer类中的reduce方法将按键的排序顺序获取这些键。
您可以从以下链接中阅读更多关于此的信息。
1） 雅虎
2） hadoop权威指南tom white