在以下场景中，我看不到hadoop中的reducer的值：map任务生成唯一的键（因为我们可以将map/reduce功能合并在一起）map任务的输出大小太大（如果等待reducer开始工作，这将耗尽内存）如果我们有任何功能，不需要分组和排序的关键如果我错了，请纠正我。如果有人能给我一个真实的例子，说明减速器的好处，以及何时应该使用减速器，我将不胜感激。
waxmsbnn1#
当您需要执行聚合/分组等操作时，reducer是有益的（或必需的）。。仅供参考：reducer用于对来自不同Map器的键的不同值进行分组。因此，对于不需要分组/聚合的用例来说，使用reducer是没有意义的（您可以将其设置为零，这意味着只Map作业）。我能想到的一个快速用例是——您想要随机地将一个大文件拆分为多个部分文件。在这种情况下，您将提供大文件（比如100g）来只Map作业。所有Map都将读取一个文件块，并作为文件的一部分写入。
1条答案
按热度按时间waxmsbnn1#
当您需要执行聚合/分组等操作时，reducer是有益的（或必需的）。。
仅供参考：reducer用于对来自不同Map器的键的不同值进行分组。因此，对于不需要分组/聚合的用例来说，使用reducer是没有意义的（您可以将其设置为零，这意味着只Map作业）。
我能想到的一个快速用例是——您想要随机地将一个大文件拆分为多个部分文件。在这种情况下，您将提供大文件（比如100g）来只Map作业。所有Map都将读取一个文件块，并作为文件的一部分写入。