hadoop实时数据节点在不断变化

kupeojn6  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(204)

我正面临一个非常奇怪的问题。我已经在openshift容器上使用ambari安装了hdp2.6.4集群。一切正常,除了一件事,我已经添加了8个数据节点,在这些只有5个数据节点是活的时间。
主要问题是,当我检查namenodewebui或hdfs-dfsadmin-report时,活动节点的名称会在一段时间后不断更改。而活动节点的总数是相同的5/8。我试着检查了datanodes日志是否重启了ambari代理和datanodes,datanodes日志中没有错误。
这个问题仍然存在。pfa namenode webui pics具有不同的活动节点名称。在pic-1中,它显示节点7活动在pics-2中,它显示节点8活动,它与其他节点名称保持一致。


我在namenode日志中不断得到以下日志

2018-03-07 07:11:03,693 INFO  net.NetworkTopology (NetworkTopology.java:add(427)) - Adding a new node: /default-rack/10.128.0.1:50010
2018-03-07 07:11:03,694 INFO  blockmanagement.BlockReportLeaseManager (BlockReportLeaseManager.java:registerNode(205)) - Registered DN 56f106cc-cfb6-421f-b9fc-024a84a89c14 (10.128.0.1:50010).
2018-03-07 07:11:03,695 INFO  blockmanagement.DatanodeDescriptor (DatanodeDescriptor.java:updateHeartbeatState(401)) - Number of failed storage changes from 0 to 0
2018-03-07 07:11:03,695 INFO  blockmanagement.DatanodeDescriptor (DatanodeDescriptor.java:updateStorage(854)) - Adding new storage ID DS-def957ad-51ed-4d0e-90f4-61582ff01a8a for DN 10.128.0.1:50010
2018-03-07 07:11:03,898 INFO  hdfs.StateChange (DatanodeManager.java:registerDatanode(954)) - BLOCK* registerDatanode: from DatanodeRegistration(10.128.0.1:50010, datanodeUuid=eac46cc3-a4e6-47e3-a15e-114a298da53e, infoPort=50075, infoSecurePort=0, ipcPort=8010, storageInfo=lv=-56;cid=CID-08d20112-9269-47cc-a86d-4e213d221aad;nsid=935392924;c=0) storage eac46cc3-a4e6-47e3-a15e-114a298da53e
2018-03-07 07:11:03,898 INFO  namenode.NameNode (DatanodeManager.java:registerDatanode(962)) - BLOCK* registerDatanode: 10.128.0.1:50010
2018-03-07 07:11:03,898 INFO  net.NetworkTopology (NetworkTopology.java:remove(501)) - Removing a node: /default-rack/10.128.0.1:50010
2018-03-07 07:11:03,898 INFO  blockmanagement.DatanodeDescriptor (DatanodeDescriptor.java:updateHeartbeatState(401)) - Number of failed storage changes from 0 to 0

任何方向都会有帮助。
--谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题