我开始使用hadoop一周了。在成功运行这些示例之后，我创建了一个mapreduce作业，使用wordcount示例查找最常用的单词。
我正在尝试用500 mb或更多数据运行此作业。
然而，Map任务需要几个小时。它目前在Map67%减少0%。
map任务日志如下：
2014-10-24 11:19:52,274 DEBUG [IPC Parameter Sending Thread #0] org.apache.hadoop.ipc.Client: IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001 sending #2554
2014-10-24 11:19:52,278 DEBUG [IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001] org.apache.hadoop.ipc.Client: IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001 got value #2554
2014-10-24 11:19:52,279 DEBUG [communication thread] org.apache.hadoop.ipc.RPC: Call: ping 5
2014-10-24 11:19:55,279 DEBUG [IPC Parameter Sending Thread #0] org.apache.hadoop.ipc.Client: IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001 sending #2555
2014-10-24 11:19:55,280 DEBUG [IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001] org.apache.hadoop.ipc.Client: IPC Client (592959754) connection to /xxx.xx.xx.xx:52026 from job_1414134493988_0001 got value #2555
2014-10-24 11:19:55,280 DEBUG [communication thread] org.apache.hadoop.ipc.RPC: Call: ping 1这样的事情会发生吗，要花那么长时间吗？
1条答案
按热度按时间m528fe3b1#
一些提示：
你说的长是什么意思？
对map任务长时间运行的地方进行堆栈跟踪，看看它在哪里受阻？
任务的状态是什么？它们经常失败吗？
您的群集中有多少个map和reduce？