我正在运行著名的wordcount示例。我有一个本地和prod hadoop设置。同样的例子也在prod中工作，但不是在本地工作。有人能告诉我该找什么吗。工作陷入困境。任务日志包括：
~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test
Warning: $HADOOP_HOME is deprecated.
13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015
13/08/29 16:12:36 INFO mapred.JobClient: map 0% reduce 0%以伪分布式模式运行的本地hadoop。namenode、datanode和jobtracker三个进程都在运行。如果需要一些额外的信息，请告诉我。
5条答案
按热度按时间0yycz8jy1#
tasktracker似乎不见了。
尝试：
u2nhd7ah2#
如果在使用配置单元查询时出现此问题，请检查是否在不利用分区的情况下连接两个非常大的表。不使用分区可能会导致长时间运行的全表扫描，因此停留在map 0%或reduce 0%。
q5lcpyga3#
在hadoop2.x中，这个问题可能与内存问题有关，您可以在hadoop2.2.0的mapreduce中看到它不起作用
2g32fytz4#
除了
hadoop tasktracker &以及其他问题。请检查您的代码并确保没有infinite loop或者其他的虫子。也许你的代码中有一些错误！e37o9pze5#
我也遇到了同样的问题，这个页面帮助了我：http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/
基本上我用以下3个步骤解决了我的问题。事实是我必须配置更多的内存。
1） yarn-site.xml文件
yarn.resourcemanager.hostname=hostname\u主机的\u
yarn.nodemanager.resource.memory-mb=4000
yarn.nodemanager.resource.cpu-vcores=2
yarn.scheduler.minimum-allocation-mb=4000
2） mapred-site.xml文件
yarn.app.mapreduce.am.resource.mb=4000
yarn.app.mapreduce.am.command-opts=-xmx3768m
mapreduce.map.cpu.vcores=2
mapreduce.reduce.cpu.vcores=2
3） 跨所有节点发送这些文件