hadoop 0.20.2版
有几个作业需要一个接一个地执行,有些作业的jvm无法终止。下面是日志。如果您看到“jvm未被杀死jvm\u 201208192339\u 6873\u m\u 1286217329,但刚刚被删除”,则tasktracker似乎找不到jvmid。我已经看过源代码了。但是我找不到tasktracker找不到jvmid的原因。顺便说一下,有13个TaskTraker,只有新的3个出现了这个问题,我忘了配置什么了吗?有人帮我找到原因吗?谢谢^o^
2012-09-20 13:52:56655 info org.apache.hadoop.mapred.tasktracker:已收到任务的killtaskaction:尝试\u 201208192339 \u 6873 \u m \u 004334 \u 0
2012-09-20 13:52:56655 info org.apache.hadoop.mapred.tasktracker:即将清除任务:尝试\u 201208192339 \u 6873 \u m \u 004334 \u 0
2012-09-20 13:52:56655 info org.apache.hadoop.mapred.jvmmanager:jvm没有杀死jvm\u 201208192339\u 6873\u m\u 1286217329,但刚刚删除
2012-09-20 13:52:56655信息org.apache.hadoop.mapred.tasktracker:addfreeslot:当前可用插槽:8
2012-09-20 13:52:56655 info org.apache.hadoop.mapred.indexcache:Mapid尝试\u 201208192339\u 6873\u m\u 004334\u 0未在缓存中找到
2012-09-20 13:52:56962 info org.apache.hadoop.mapred.tasktracker:launchtaskaction(registertask):尝试任务state:killed_unclean
2012-09-20 13:52:56962 info org.apache.hadoop.mapred.tasktracker:尝试启动:尝试\u 201208192339 \u 6873 \u m\u 004334 \u 0需要1个插槽
2012-09-20 13:52:56962 info org.apache.hadoop.mapred.tasktracker:在tasklauncher中,当前可用插槽:8,正在尝试启动需要1个插槽的尝试\u 201208192339 \u 6873 \u m\u 004334 \u 0
2012-09-20 13:52:56968 info org.apache.hadoop.mapred.jvmmanager:in jvmrunner构建的jvm id:jvm\u 201208192339\u 6873\u m\u 677724590
2012-09-20 13:52:56968 info org.apache.hadoop.mapred.jvmmanager:jvm运行程序jvm\u 201208192339\u 6873\u m\u 677724590生成。
2012-09-20 13:52:56974 info org.apache.hadoop.mapred.taskcontroller:将命令写入/disk10/hdfs/mapred/local/ttprivate/tasktracker/root/jobcache/job_\u 6873/attempt_\u 6873\u m_\u 0.cleanup/taskjvm.sh
2012-09-20 13:52:58017 info org.apache.hadoop.mapred.tasktracker:jvm id:jvm\u 201208192339\u 6873\u m\u 677724590给定任务:尝试\u 201208192339\u 6873\u m\u 004334\u 0
2012-09-20 13:52:58557 info org.apache.hadoop.mapred.tasktracker:尝试\u 201208192339 \u 6873 \u m\u 004334 \u 0.0%
2012-09-20 13:52:58564 info org.apache.hadoop.mapred.tasktracker:尝试\u 201208192339 \u 6873 \u m\u 004334 \u 0.0%清理
2012-09-20 13:52:58566 info org.apache.hadoop.mapred.tasktracker:任务尝试\u 201208192339 \u 6873 \u m\u 004334 \u 0完成。
2012-09-20 13:52:58566 info org.apache.hadoop.mapred.tasktracker:报告的尝试输出大小\u 201208192339 \u 6873 \u m\u 004334 \u 0为-1
2012-09-20 13:52:58566信息org.apache.hadoop.mapred.tasktracker:addfreeslot:当前可用插槽:8
1条答案
按热度按时间3hvapo4f1#
最后,出现此问题的节点还有另一个问题,即其操作系统与硬件不匹配。在新操作系统中运行作业一段时间后,该问题不再出现。原来的操作系统在网络中表现不好。它会降低网络带宽。