我可以让我的hadoop reducer更快吗?

yrefmtwq  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(408)

我是hadoop的新手,只是尝试一下wordcount的例子。我只是构建了一个引用http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
我上传了一个非常简单的文本到hdfs,并运行wordcount.jar。
不知何故,减速机要花很长时间才能加工。我知道这是i/o瓶颈,但有什么方法可以设置一些参数并使其更快(哈哈,还原过程还是0%,差不多20分钟)

13/06/04 15:53:14 INFO mapred.JobClient:  map 100% reduce 0%
9jyewag0

9jyewag01#

如果您想修改一些hadoop设置,比如增加reduce任务的数量,可以使用“-d”选项:

hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount -D mapred.reduce.tasks=8 /user/hduser/temp-data /user/hduser/temp-data-output

此外,使用hdfs,您不能强制执行多个map任务 mapred.map.tasks 但你可以指定 mapred.reduce.tasks 如本链接所述

dgiusagp

dgiusagp2#

看起来你的hadoop有一些问题,mr不能正确运行。
请检查:
通过access检查hadoop是否正常工作 http://localhost:50030 ,这是hadoop的jobtracker webui
查看$hadoop\u home/logs/上的日志文件,尤其是 *jobtracker*.log ,和 *tasktracker*.log .
通常,如果这是您第一次测试hadoop。请检查此链接:hadoop wordcount示例卡在Map上100%减少0%

相关问题