我的hadoop程序使用了一个Map器,它将输入数据分解为在 /usr/countcomputers.txt
文件(由mapper函数读取)。另外,一部分到达每个减速器。因此,在 /usr/countcomputers.txt
文件,定义减速器的数量。在这方面,我有一个问题:reducer只在tasktracker恶魔启动的计算机上执行,或者在所有节点上执行,包括在namenode恶魔、jobtracker和secondary namenode启动的节点上执行?对我来说,知道对这个问题的回答是一个非常重要的数字,这个数字是在 /usr/countcomputers.txt
文件依赖于它,读入程序。
1条答案
按热度按时间qkf9rpyu1#
只有tasktracker才允许运行缩减器(如果为属性配置了大于零的数字)
mapreduce.tasktracker.reduce.tasks.maximum
).因此,您可以安全地假设,只有在运行tasktracker的主机上,才会执行reduce任务。