如何删除/hadoop/hdfs/journal/hdfsha/current下的超大文件/

nhn9ugyo 于 2021-07-15 发布在 Hadoop

关注(0)|答案(2)|浏览(646)

在我们的hdp集群版本2.6.5中，使用ambari平台
我们注意到了 /hadoop/hdfs/journal/hdfsha/current/ 文件夹包括巨大的文件和超过1000个文件

-rw-r--r--. 1 hdfs hadoop 494690334 Dec 28 11:37 edits_0000000017251672645-0000000017253719335
-rw-r--r--. 1 hdfs hadoop 524892007 Dec 28 12:37 edits_0000000017253719336-0000000017255810613
-rw-r--r--. 1 hdfs hadoop 509365350 Dec 28 14:17 edits_0000000017255810614-0000000017258005682
-rw-r--r--. 1 hdfs hadoop 526756290 Dec 28 15:07 edits_0000000017258005683-0000000017260117992

为了最小化日志编辑日志，我们可以使用以下内容作为hdfs（hdfs-site.xml）的一部分
我们不确定- dfs.namenode.num.extra.edits.retained 只保留100个文件
如果以下配置有助于清除中的额外日志文件，请给出建议

dfs.namenode.num.extra.edits.retained=100
dfs.namenode.max.extra.edits.segments.retained=1
dfs.namenode.num.checkpoints.retained=1

参考-https://www.ibm.com/support/pages/how-remove-very-large-files-under-hadoophdfsnamecurrent-biginsights-30-save-disk-space

hadoop hdfs namenode hdp

来源：https://stackoverflow.com/questions/65804491/how-to-remove-the-very-large-files-under-hadoop-hdfs-journal-hdfsha-current

2条答案

按热度按时间

t0ybt7op1#

要清除jornal edit占用的空间，您的思路是正确的。但是，值太小，如果出现问题，可能会丢失数据。
的默认值 dfs.namenode.num.extra.edits.retained 以及 dfs.namenode.max.extra.edits.segments.retained 设置为 1000000 以及 10000 分别。
我建议你跟着我values:-

dfs.namenode.num.extra.edits.retained=100000
dfs.namenode.max.extra.edits.segments.retained=100
dfs.namenode.num.checkpoints.retained=2

您可以在这里找到所有这些参数的详细信息，这些值可以是任何值，并且取决于您必须选择的环境。

赞(0）回复(0）举报 2021-07-15

u7up0aaq2#

同样的问题，编辑开始在nn和journal节点中累积。原来，备用nn已经死了。阅读文档，发现编辑的合并和清理是备用nn的责任。
在非ha模式下，是Secondaryn在做这个。
因此，请确保备用/辅助nn正常运行。

赞(0）回复(0）举报 2021-07-15

我来回答

如何删除/hadoop/hdfs/journal/hdfsha/current下的超大文件/

2条答案

相关问题

热门标签

最新问答