我从hdfs位置删除了多个旧文件(hivelogs/mr作业中间文件) /temp/hive-user/hive_2015*
.
在那之后,我注意到我的四节点集群响应非常慢,并出现以下问题。
我重新启动了我的集群,它正常工作了3-4个小时,然后又开始出现同样的问题,如下所示:
hadoopdfs健康页面加载速度非常慢。
文件浏览速度很慢
namenode日志已满,显示“块不属于任何文件”。
我的群集的所有操作都很慢。
我发现这可能是因为我删除了hdfs文件,根据hdfs jira-7815和7480,因为我删除了大量的文件namenode无法正确删除块。因为namenode正忙于多个删除任务。这是hadoop的旧版本(早于2.6.0)存在的一个bug。
有谁能建议不升级我的hadoop集群或补丁安装的快速修复?
如何识别这些孤立块并从hadoop fs中删除它们?
暂无答案!
目前还没有任何答案,快来回答吧!