我正在使用hadoop1.2.1。我需要/hadoop安装目录/logs/userlogs/job-/attemp-/stdout中的stdout文件。但是当我重新启动datanodes时,我的作业日志不在userlogs中。不管怎么说,都要访问它们吗?谢谢
eufgjt7s1#
清除日志文件有多种原因:按照“mapreduce.job.userlog.retain.hours”属性的定义,默认情况下每24小时清除一次(对于gen 2,对于gen 1,它的mapred.userlog.retain.hours)按照默认log4j.properties中的定义,每12小时清除一次
hadoop.tasklog.taskid=null hadoop.tasklog.noKeepSplits=4 hadoop.tasklog.totalLogFileSize=100 hadoop.tasklog.purgeLogSplits=true hadoop.tasklog.logsRetainHours=12 ^^
因此,如果您有这样的配置,那么它将只保留日志12小时。
1条答案
按热度按时间eufgjt7s1#
清除日志文件有多种原因:
按照“mapreduce.job.userlog.retain.hours”属性的定义,默认情况下每24小时清除一次(对于gen 2,对于gen 1,它的mapred.userlog.retain.hours)
按照默认log4j.properties中的定义,每12小时清除一次
因此,如果您有这样的配置,那么它将只保留日志12小时。