从属数据节点不位于主节点存储中

r55awzrz  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(327)

最近,我在ubuntu上安装了hadoop多节点集群,一切正常,namenode和secondary node(名字hadoopmaster),所有从节点都是2(hadoopdatanode1,hadoopdatanode2)
当start-dfs.sh和start-yarn.sh脚本被执行时,所有从节点都在运行其正常的作业“datanode和nodemanager”,所有的工作都很好,但是主节点hadoopmaster在检查报告时,我只得到一个datanode,它是masternode datanode,但是我没有从其他datanode中找到和datanode。。所有日志文件看起来都不错,也不例外
dfsadmin-report的结果

Configured Capacity: 7791403008 (7.26 GB)
Present Capacity: 1433530368 (1.34 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: HadoopMaster
Decommission Status : Normal
Configured Capacity: 7791403008 (7.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6357872640 (5.92 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used%: 0.00%
DFS Remaining%: 18.40%

我在datanode的日志中发现所有datanode都试图连接到hadoopmaster:9000 and 无法连接

2014-09-16 04:06:32,721 INFO org.apache.hadoop.ipc.Client: 
Retrying connect to server:        
HadoopMaster/192.168.16.80:9000. Already tried 5 time(s); 
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

但是namenode在hadoopmaster namenode上运行良好

21655 SecondaryNameNode
22467 Jps
21514 DataNode
21376 NameNode
21809 ResourceManager

我检查了hdfs的端口是否打开

tcp        0      0 HadoopMaster:9000       *:*                     LISTEN    21376/java

**hadoopmaster vi ssh登录可访问的所有datanode无密码

有什么建议吗。。

n3ipq98p

n3ipq98p1#

似乎存在一些配置问题:来自master的jps不应该显示datanode正在运行。
如果您特别添加了主节点作为主节点的从属节点,那么在jps中也应该显示节点管理器。
请核对以下文件:

/etc/hosts/
core-site.xml
hdfs-site.xml
yarn-site.xml files on all nodes and slaves file on master node.

相关问题