我们使用的是cloudera cdh 5.3。我面临一个问题，“/dfs/dn/current/bp-12345-ipaddress-123456789/dncp block verification.log.curr”和“dncp vlock verification.log.prev”的大小在几个小时内不断增加到tbs。我读了一些博客，他们提到这是一个hdfs错误。这个问题的临时解决方案是停止datanode服务并删除这些文件。但是我们观察到，日志文件在任何一个datanode上的大小都会增加（甚至在删除它之后在同一个节点上）。因此，需要持续监测。
有人能永久解决这个问题吗？
1条答案
按热度按时间lsmepo6l1#
一个解决方案，虽然有点激烈，是完全禁用块扫描器，设置到hdfs数据节点配置的关键
dfs.datanode.scan.period.hours至0（默认为504小时）。这样做的负面影响是，您的dns可能无法自动检测损坏的块文件（并且需要等待将来的块读取客户端来检测它们）；如果您的平均复制是3-ish，那么这并不是什么大问题，但是您可以将此更改视为短期更改，直到您升级到修复此问题的版本为止。请注意，如果升级到最新的cdh5.4.x或更高版本（包括hdfs-7430重写更改和相关错误修复），则不会发生此问题。这些更改已经取消了使用这样的本地文件，从而消除了问题。