如何识别副本块不足的问题

mqxuamgl  于 2021-07-15  发布在  Hadoop
关注(0)|答案(1)|浏览(401)

我们安装了带有一个数据节点机器的小型hdp集群
hdp版本为 2.6.5 Ambari版本是 2.6.1 所以这是一个新的集群,它包含两个名称节点,只有一个数据节点(工作机)
我们看到的有趣的行为是 under replica 在ambari Jmeter 盘上,目前的数字是 15000 在副本块下
众所周知,这个问题的最根本原因是名称节点到数据节点之间的网络问题
但在我们的hadoop集群中不是这样的
我们还可以通过以下步骤减少欠复制

su - <$hdfs_user>

bash-4.1$ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files 

-bash-4.1$ for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ;  hadoop fs -setrep 3 $hdfsfile; done

但我们不想这样做,因为复制不足的问题不应该从一开始就发生
可能需要调整一些hdfs参数,但我们对此不确定
请告诉我们任何对我们有帮助的建议



6qqygrtg

6qqygrtg1#

如果在安装群集之后发生了复制不足的块问题,请检查以下内容property:-

dfs.replication

这决定了需要创建多少复制副本(如果有) one datanode 那么这个应该设置为 1 从指标页面上看,我觉得一切都很好,

相关问题