如何找到“为副本保留的空间”不断增加的原因,以及如何限制这类缓存的空间?我们发现“副本保留空间”与“非dfs”空间相关,并且它可以不断增加,直到重新启动数据节点。我们没有找到如何限制为“副本保留空间”分配的空间:(我们认为dfs.datanode.du.reserved可以控制“副本的保留空间”,但事实并非如此。所以我们的问题是如何控制hadoop中为“副本保留空间”分配的空间大小?
57hvy0tb1#
对于那些面临这种问题的人来说。首先你应该了解问题的本质。为此,请阅读以下问题的说明:https://issues.apache.org/jira/browse/hdfs-8072https://issues.apache.org/jira/browse/hdfs-9530https://issues.apache.org/jira/browse/hdfs-6489以下链接将有助于了解什么是块副本:https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-1/https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-2/解决查找在编写或附加过程中经常中断与hadoop连接的错误软件尝试更改复制策略(有风险)将hadoop更新至最新版本无法重置 “为副本保留空间”而不重新启动hadoop服务!
1条答案
按热度按时间57hvy0tb1#
对于那些面临这种问题的人来说。首先你应该了解问题的本质。为此,请阅读以下问题的说明:
https://issues.apache.org/jira/browse/hdfs-8072
https://issues.apache.org/jira/browse/hdfs-9530
https://issues.apache.org/jira/browse/hdfs-6489
以下链接将有助于了解什么是块副本:
https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-1/
https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-2/
解决
查找在编写或附加过程中经常中断与hadoop连接的错误软件
尝试更改复制策略(有风险)
将hadoop更新至最新版本
无法重置 “为副本保留空间”而不重新启动hadoop服务!