我有一个hadoop作业，我正试图在8节点windowshdp集群上运行。该作业有超过137000个输入，它在大约3.5小时内处理84%到92%的map任务。然后reducer在0%时重新启动，map任务重新运行。工作永远不会结束。
我的问题是，reducer从dfs读取map输出或块时是否超时，导致reducer重新启动？或者，如果减速机达到某种限制，它是否会生成一条错误消息，帮助我确定原因。我遇到的第一个障碍是，默认队列只允许100000个任务，但作业出错，并显示一条消息。
我正在使用的hadoop版本是您使用microsoftwidinsight获得的版本。它似乎是一个针对windows的Hadoop1.1.0快照（hortonworks data platform 1.0.1 developer preview for windows）。我设置属性给客户端任务8000mb的内存。由于jobtracker是以从windows服务启动的方式运行的，所以我不知道vm实际启动时有多少内存。