一个簇的节点数量与约简数的java依赖关系

kqqjbcuj  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(320)

我的hadoop程序使用了一个Map器,它将输入数据分解为在 /usr/countcomputers.txt 文件(由mapper函数读取)。另外,一部分到达每个减速器。因此,在 /usr/countcomputers.txt 文件,定义减速器的数量。在这方面,我有一个问题:reducer只在tasktracker恶魔启动的计算机上执行,或者在所有节点上执行,包括在namenode恶魔、jobtracker和secondary namenode启动的节点上执行?对我来说,知道对这个问题的回答是一个非常重要的数字,这个数字是在 /usr/countcomputers.txt 文件依赖于它,读入程序。

qkf9rpyu

qkf9rpyu1#

只有tasktracker才允许运行缩减器(如果为属性配置了大于零的数字) mapreduce.tasktracker.reduce.tasks.maximum ).
因此,您可以安全地假设,只有在运行tasktracker的主机上,才会执行reduce任务。

相关问题