只有一个Map器和还原器正在运行，即使我改为5个Map器和2个还原器

ef1yzkbh 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(341)

我是新来的 Hadoop ，我设置了一个多节点hadoop Hadoop 2.5.1 版本。当我使用命令运行mapreduce作业时

hadoop jar jarFile <ClassName> <InputFile> <outputDirectory> -D mapreduce.job.reduces=2 mapreduce.job.maps=5

但当我看到输出时，我只看到一个Map器和一个减速机在运行。
我看不到Map槽和减速机槽的概念 Hadoop 2.5.1 我的文件大小是 78MB . 所以，这是因为我的文件大小非常小，块非常低，所以只有一个Map程序在运行吗？
在这方面的帮助对我来说是很大的。
谢谢和问候，斯里拉莎k。

1条答案

这是因为块的默认大小是128mb，因此大小为78m的文件从未被分割成多个块。看到了吗，默认块大小是128。
如果您想看到两个Map器，那么在$hadoop\u home/conf/hdfs-site.xml中添加以下行

<property>
   <name>dfs.blocksize</name>
   <value>64M</value>
</property>