如何在不重新启动hadoop服务的情况下重置“副本的保留空间”

h4cxqtbf  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(317)

如何找到“为副本保留的空间”不断增加的原因,以及如何限制这类缓存的空间?
我们发现“副本保留空间”与“非dfs”空间相关,并且它可以不断增加,直到重新启动数据节点。我们没有找到如何限制为“副本保留空间”分配的空间:(
我们认为dfs.datanode.du.reserved可以控制“副本的保留空间”,但事实并非如此。
所以我们的问题是如何控制hadoop中为“副本保留空间”分配的空间大小?

57hvy0tb

57hvy0tb1#

对于那些面临这种问题的人来说。首先你应该了解问题的本质。为此,请阅读以下问题的说明:
https://issues.apache.org/jira/browse/hdfs-8072
https://issues.apache.org/jira/browse/hdfs-9530
https://issues.apache.org/jira/browse/hdfs-6489
以下链接将有助于了解什么是块副本:
https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-1/
https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-2/
解决
查找在编写或附加过程中经常中断与hadoop连接的错误软件
尝试更改复制策略(有风险)
将hadoop更新至最新版本
无法重置 “为副本保留空间”而不重新启动hadoop服务!

相关问题