如何清除hadoop作业历史记录

roejwanj  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(395)

我正在使用标准apache发行版附带的hadoop map/reduce管理ui。随着时间的推移,执行任务的列表越来越大。如何从历史记录列表中删除旧工作?

dzhpxtsq

dzhpxtsq1#

另一个建议(更极端的)就是重新启动你的jobtracker。

6gpjuf90

6gpjuf902#

hadoop作业执行有生命周期,这里将对此进行解释
作业状态流
运行->完成->失效
我们可以使用一些重要的配置来控制作业保留。

mapred.jobtracker.completeuserjobs.maximum: Number of jobs to keep in memory after Running state. Try configure to less value...

mapred.jobtracker.retirejob.interval: Default interval value is  24 * 60 * 60 * 1000 (1 Day). That means completed jobs will be retired after one day by default.

尝试将属性“mapred.jobtracker.retirejob.interval”配置为1小时左右。

相关问题