map reduce作业在map处卡住0%reduce 0%

rsl1atfo  于 2021-06-03  发布在  Hadoop
关注(0)|答案(5)|浏览(810)

我正在运行著名的wordcount示例。我有一个本地和prod hadoop设置。同样的例子也在prod中工作,但不是在本地工作。有人能告诉我该找什么吗。工作陷入困境。任务日志包括:

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test
Warning: $HADOOP_HOME is deprecated.

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015
13/08/29 16:12:36 INFO mapred.JobClient:  map 0% reduce 0%

以伪分布式模式运行的本地hadoop。namenode、datanode和jobtracker三个进程都在运行。如果需要一些额外的信息,请告诉我。

0yycz8jy

0yycz8jy1#

tasktracker似乎不见了。
尝试:

hadoop tasktracker &
u2nhd7ah

u2nhd7ah2#

如果在使用配置单元查询时出现此问题,请检查是否在不利用分区的情况下连接两个非常大的表。不使用分区可能会导致长时间运行的全表扫描,因此停留在map 0%或reduce 0%。

q5lcpyga

q5lcpyga3#

在hadoop2.x中,这个问题可能与内存问题有关,您可以在hadoop2.2.0的mapreduce中看到它不起作用

2g32fytz

2g32fytz4#

除了 hadoop tasktracker & 以及其他问题。请检查您的代码并确保没有 infinite loop 或者其他的虫子。也许你的代码中有一些错误!

e37o9pze

e37o9pze5#

我也遇到了同样的问题,这个页面帮助了我:http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/
基本上我用以下3个步骤解决了我的问题。事实是我必须配置更多的内存。
1) yarn-site.xml文件
yarn.resourcemanager.hostname=hostname\u主机的\u
yarn.nodemanager.resource.memory-mb=4000
yarn.nodemanager.resource.cpu-vcores=2
yarn.scheduler.minimum-allocation-mb=4000
2) mapred-site.xml文件
yarn.app.mapreduce.am.resource.mb=4000
yarn.app.mapreduce.am.command-opts=-xmx3768m
mapreduce.map.cpu.vcores=2
mapreduce.reduce.cpu.vcores=2
3) 跨所有节点发送这些文件

相关问题