我是新来的 Hadoop
,我设置了一个多节点hadoop Hadoop 2.5.1
版本。当我使用命令运行mapreduce作业时
hadoop jar jarFile <ClassName> <InputFile> <outputDirectory> -D mapreduce.job.reduces=2 mapreduce.job.maps=5
但当我看到输出时,我只看到一个Map器和一个减速机在运行。
我看不到Map槽和减速机槽的概念 Hadoop 2.5.1
我的文件大小是 78MB
. 所以,这是因为我的文件大小非常小,块非常低,所以只有一个Map程序在运行吗?
在这方面的帮助对我来说是很大的。
谢谢和问候,斯里拉莎k。
1条答案
按热度按时间qzwqbdag1#
这是因为块的默认大小是128mb,因此大小为78m的文件从未被分割成多个块。看到了吗,默认块大小是128。
如果您想看到两个Map器,那么在$hadoop\u home/conf/hdfs-site.xml中添加以下行