如何清理/var/log/hadoop hdfs下的hadoop hdfs日志

ttcibm8c  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(1403)

hadoop集群中的my name节点运行状况变差,因为“角色的日志目录不是一个可用空间小于4gb的文件系统/var/log/hadoop hdfs(免费:2.4gb(11.12%),capacity:21.7 gb"
我查看了那个文件夹,发现里面有5.5gb的日志文件,名为“hdfs audit.log.0”-“hdfs audit.log.20”。我读了这些文件,我真的不需要保存这些日志。我想知道有没有一种方法可以永久删除它们,并且不再生成它们我试图手动删除它们,但似乎几个小时后它们又回来了。)
我还试图补充 "log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN,NullAppender" 在我的 /etc/hadoop/conf/log4j.properties . 但这并没有阻止这些文件“卷土重来”。
提前感谢您的帮助!

euoag5mw

euoag5mw1#

首先,hadoop的容量比你提到的要大得多,这意味着5.5gb的日志通常没有那么大。这就解释了为什么默认设置不适合您的情况。
你可以:
减少与变量一起保留的日志文件数 navigator.audit_log_max_backup_index (通常为10)
或最大日志文件大小 navigator.audit_log_max_file_size

相关问题