来自旧版本的hadoop,我正在hadoop2.2.0中查找用户日志文件(log.index、stderr、stdout、syslog)。我首先查找web界面,但在端口50030上没有运行任何东西。然后我查看了hadoop\u home\u dir/logs,但没有看到userlogs dir,也没有看到带有jobnumber的内容。我查找的下一个位置是temp dir(/tmp),找到了类似的文件夹:
$ find . -name "job_local1643076800_0001"
./hadoop-tom/mapred/staging/tom1643076800/.staging/job_local1643076800_0001
./hadoop-tom/mapred/local/localRunner/tom/jobcache/job_local1643076800_0001
./hadoop-tom/mapred/local/localRunner/tom/job_local1643076800_0001
在这里,我找到了我期望的格式的目录:attempt\u local1643076800\u 0001\u m\u000000\u 0,但它们是空的。
我还设置了 "export HADOOP_LOG_DIR=/path"
,但这也没有填满。我有什么遗漏吗?或者在我从源代码构建hadoop时出错了?
提前谢谢!
2条答案
按热度按时间nkcskrwz1#
用户日志应该在文件夹下
userlogs
在logs
文件夹。比如说hadoop-2.2.0/logs/userlogs/
. 检查jps
命令来查看是否运行了所需的进程—可能没有。如果没有,请检查日志(而不是用户日志)中的错误并检查配置。如果您的进程没有运行,我想知道您是如何运行某些作业的。你的工作完成得好吗?
lsmd5eda2#
hadoop2.2.0中的默认mapreduce框架是yarn。50030端口是jobtracker webui,在yarn中,它使用资源管理器代替jobtracker,后者的webui可以通过8088访问。
在你的情况下,工作是作为
localRunner
,这意味着要么从客户端看,yarn配置不正确,要么yarn服务关闭。验证您的配置。