我使用的是hadoop的0.20.0版本。我已经成功设置了combiner类。我的程序运行成功。然而，我发现大约5%的数据在从Map器出来后没有进入合并器，这些数据直接进入了还原器。我不知道为什么？
myss37ts1#
关于hadoop中combiners实现的说明：默认情况下，执行框架保留自行决定使用combiners的权利。实际上，这意味着组合器可以被调用零次、一次或多次。此外，hadoop中的组合器实际上可以在reduce阶段调用，也就是说，在键值对被复制到reducer之后，但是在用户reducer代码运行之前。因此，必须仔细编写组合器，以便在这些不同的环境中执行它们。您可以在下面的pdf第2.4节中找到这一点基于mapreduce的数据密集型文本处理
1条答案
按热度按时间myss37ts1#
关于hadoop中combiners实现的说明：默认情况下，执行框架保留自行决定使用combiners的权利。实际上，这意味着组合器可以被调用零次、一次或多次。此外，hadoop中的组合器实际上可以在reduce阶段调用，也就是说，在键值对被复制到reducer之后，但是在用户reducer代码运行之前。因此，必须仔细编写组合器，以便在这些不同的环境中执行它们。
您可以在下面的pdf第2.4节中找到这一点
基于mapreduce的数据密集型文本处理