我正在学习hadoop,现在我在单节点设置时遇到了一个问题。我想在网页上看到jobhistory,但是在我点击logs之后,我看到的只是“no logs available for container\u 1541377958924\u 0001\u 01\u000001”,我不知道如何解决它。
以下是我的配置:
mapred-size.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop000:10020</value>
<description>MapReduce JobHistory Server IPC host:port</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop000:19888</value>
<description>MapReduce JobHistory Server Web UI host:port</description>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/history/done_intermediate</value>
</property>
yarn-site.xml文件
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>hadoop000:19888/jobhistory/logs/</value>
</property>
原谅我的英语不好,谢谢!
1条答案
按热度按时间gjmwrych1#
为了在webapp中查看来自hadoop作业的日志,除了启用聚合日志之外,还需要启动jobhistory守护进程。
尝试:
$ ./sbin/mr-jobhistory-daemon.sh # OR mr-job-history-daemon.sh $ stop-yarn.sh && start-yarn.sh