如何找到“为副本保留的空间”不断增加的原因，以及如何限制这类缓存的空间？我们发现“为副本保留的空间”超过了非dfs使用的空间（上个月）。但我们没有找到原因：(
我们知道如何计算“non-dfs”，但是“为副本保留的空间”显示的空间大小与“non-dfs”实际占用的空间大小不一致。例如，我们有6 tb容量：
“使用dfs”需要4 tb
卷上的“可用空间”为2 tb（此信息通过“df-h”获取）
“非dfs”需要2 tb（为什么？？？如果“df-h”显示我们有2 tb的可用空间）
当前，为了释放为这种类型的缓存分配的空间（“副本的保留空间”），我们需要重新启动datanode服务。但我们认为这不是解决办法！
我们使用hdpv3.0.1、hdfsv3.1、oraclejdk8u181
1条答案
按热度按时间pxiryf3j1#
对于那些面临这种问题的人来说。首先你应该了解问题的本质。为此，请阅读以下问题的说明：
https://issues.apache.org/jira/browse/hdfs-8072
https://issues.apache.org/jira/browse/hdfs-9530
https://issues.apache.org/jira/browse/hdfs-6489
以下链接将有助于了解什么是块副本：
https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-1/
https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-2/
解决
查找在编写或附加过程中经常中断与hadoop连接的错误软件
尝试更改复制策略（有风险）
将hadoop更新至最新版本
无法重置 “为副本保留空间”而不重新启动hadoop服务！