配置hadoop2.7.1以将任务保留更长时间
启用了日志聚合和jobhistory/timeline服务器,并且当作业在资源管理器中完成时,它会显示在jobhistory服务器中(如果您提供了正确的url),但是jobhistory服务器只列出m/r作业,而不是应用程序
问题是作业在timeline服务器中不可见,实际上timeline服务器中没有显示任何作业
当前yarn-site.xml配置:
<property>
<name>yarn.timeline-service.hostname</name>
<value>host1</value>
</property>
<property>
<name>yarn.timeline-service.address</name>
<value>${yarn.timeline-service.hostname}:10200</value>
</property>
<property>
<name>yarn.timeline-service.webapp.address</name>
<value>${yarn.timeline-service.hostname}:8188</value>
</property>
<property>
<name>yarn.timeline-service.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.timeline-service.generic-application-history.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://${yarn.timeline-service.hostname}:19888/jobhistory/logs/</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/var/vm/apps/hadoop/logs</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/var/vm/apps/hadoop/logs</value>
</property>
我在使用jobhistory服务器和timeline服务器时是否提供了冲突的配置?
在一天结束时,我希望Yarn日志保存到hdfs中,以便在接下来的几天/几周内在webui中查看
1条答案
按热度按时间6tr1vspr1#
您需要在mapred-site.xml中将mapreduce.job.emit-timeline-data属性设置为true
这将使mapreduce作业能够将事件推送到timeline服务器。