我是hadoop的新手,只是尝试一下wordcount的例子。我只是构建了一个引用http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
我上传了一个非常简单的文本到hdfs,并运行wordcount.jar。
不知何故,减速机要花很长时间才能加工。我知道这是i/o瓶颈,但有什么方法可以设置一些参数并使其更快(哈哈,还原过程还是0%,差不多20分钟)
13/06/04 15:53:14 INFO mapred.JobClient: map 100% reduce 0%
2条答案
按热度按时间9jyewag01#
如果您想修改一些hadoop设置,比如增加reduce任务的数量,可以使用“-d”选项:
此外,使用hdfs,您不能强制执行多个map任务
mapred.map.tasks
但你可以指定mapred.reduce.tasks
如本链接所述dgiusagp2#
看起来你的hadoop有一些问题,mr不能正确运行。
请检查:
通过access检查hadoop是否正常工作
http://localhost:50030
,这是hadoop的jobtracker webui查看$hadoop\u home/logs/上的日志文件,尤其是
*jobtracker*.log
,和*tasktracker*.log
.通常,如果这是您第一次测试hadoop。请检查此链接:hadoop wordcount示例卡在Map上100%减少0%