服务器日志聚合

a1o7rhls  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(550)

配置hadoop2.7.1以将任务保留更长时间
启用了日志聚合和jobhistory/timeline服务器,并且当作业在资源管理器中完成时,它会显示在jobhistory服务器中(如果您提供了正确的url),但是jobhistory服务器只列出m/r作业,而不是应用程序
问题是作业在timeline服务器中不可见,实际上timeline服务器中没有显示任何作业
当前yarn-site.xml配置:

<property>
    <name>yarn.timeline-service.hostname</name>
    <value>host1</value>
</property>
<property>
    <name>yarn.timeline-service.address</name>
    <value>${yarn.timeline-service.hostname}:10200</value>
</property>
<property>
    <name>yarn.timeline-service.webapp.address</name>
    <value>${yarn.timeline-service.hostname}:8188</value>
</property>

<property>
    <name>yarn.timeline-service.enabled</name>
    <value>true</value>
</property>

<property>
    <name>yarn.timeline-service.generic-application-history.enabled</name>
    <value>true</value>
</property>

<property>
    <name>yarn.log.server.url</name>
    <value>http://${yarn.timeline-service.hostname}:19888/jobhistory/logs/</value>
</property>

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/var/vm/apps/hadoop/logs</value>
</property>

<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/var/vm/apps/hadoop/logs</value>
</property>

我在使用jobhistory服务器和timeline服务器时是否提供了冲突的配置?
在一天结束时,我希望Yarn日志保存到hdfs中,以便在接下来的几天/几周内在webui中查看

6tr1vspr

6tr1vspr1#

您需要在mapred-site.xml中将mapreduce.job.emit-timeline-data属性设置为true
这将使mapreduce作业能够将事件推送到timeline服务器。

相关问题