缺少hadoop日志文件

vohkndzv  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(742)

来自旧版本的hadoop,我正在hadoop2.2.0中查找用户日志文件(log.index、stderr、stdout、syslog)。我首先查找web界面,但在端口50030上没有运行任何东西。然后我查看了hadoop\u home\u dir/logs,但没有看到userlogs dir,也没有看到带有jobnumber的内容。我查找的下一个位置是temp dir(/tmp),找到了类似的文件夹:

$ find . -name "job_local1643076800_0001"
./hadoop-tom/mapred/staging/tom1643076800/.staging/job_local1643076800_0001
./hadoop-tom/mapred/local/localRunner/tom/jobcache/job_local1643076800_0001
./hadoop-tom/mapred/local/localRunner/tom/job_local1643076800_0001

在这里,我找到了我期望的格式的目录:attempt\u local1643076800\u 0001\u m\u000000\u 0,但它们是空的。
我还设置了 "export HADOOP_LOG_DIR=/path" ,但这也没有填满。我有什么遗漏吗?或者在我从源代码构建hadoop时出错了?
提前谢谢!

nkcskrwz

nkcskrwz1#

用户日志应该在文件夹下 userlogslogs 文件夹。比如说 hadoop-2.2.0/logs/userlogs/ . 检查 jps 命令来查看是否运行了所需的进程—可能没有。如果没有,请检查日志(而不是用户日志)中的错误并检查配置。
如果您的进程没有运行,我想知道您是如何运行某些作业的。你的工作完成得好吗?

lsmd5eda

lsmd5eda2#

hadoop2.2.0中的默认mapreduce框架是yarn。50030端口是jobtracker webui,在yarn中,它使用资源管理器代替jobtracker,后者的webui可以通过8088访问。
在你的情况下,工作是作为 localRunner ,这意味着要么从客户端看,yarn配置不正确,要么yarn服务关闭。验证您的配置。

相关问题