通过web ui访问Yarn日志

vktxenjb 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(462)

如何通过web ui访问作业日志？
我可以通过Yarn经理网站查看工作日志。但每次Yarn重启时，Yarn管理器的应用列表都是空的。图片在重新启动之前

我可以通过cli命令访问应用程序日志，甚至可以重新启动。
$hadoop\u home/bin/yarn logs-applicationid应用程序\u 1499949542308\u 0020
jobhistory服务器web ui始终为空

yarn-site.xml和mapred-site.xml中的我的日志设置

<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/home/hadoop/hadoop/nodemanager-logs</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
    <value>logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://hdp03.hp.sp.prd.bmsre.com:19888/jobhistory/logs</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hdp03.hp.sp.prd.bmsre.com:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hdp03.hp.sp.prd.bmsre.com:19888</value>
</property>

hadoop yarn hadoop2

来源：https://stackoverflow.com/questions/45135809/access-yarn-logs-via-web-ui

2条答案

按热度按时间

zfycwa2u1#

是的，您可以从web ui访问作业。
访问此url http://<jobtracker>:50070 得到退休的工作。
关于您的问题，您已经重新启动了yarn，这意味着，一个新的日志线程将被唤醒，并将日志上载到配置的位置。
但在您的问题中，'/app logs'/app logs路径是否存在于您的文件系统中。请检查一下。
有一个保留期，即日志必须在该路径中存储多长时间，它由名为yarn.log-aggregation.retain-seconds参数的属性名定义。
据我所知，默认情况下，job tracker ui在 http://<jobtracker>:50070 ，公开所有当前运行的以及失效的mapreduce作业的信息，并且具有jobhistory rest服务，该服务公开已完成应用程序的详细信息。

赞(0）回复(0）举报 2021-05-29

gpnt7bae2#

在数据节点上，您可以检查文件夹：${hadoop\u home}/logs/userlogs
您只需要转到与应用程序id同名的文件夹。

赞(0）回复(0）举报 2021-05-29