最近,我在ubuntu上安装了hadoop多节点集群,一切正常,namenode和secondary node(名字hadoopmaster),所有从节点都是2(hadoopdatanode1,hadoopdatanode2)
当start-dfs.sh和start-yarn.sh脚本被执行时,所有从节点都在运行其正常的作业“datanode和nodemanager”,所有的工作都很好,但是主节点hadoopmaster在检查报告时,我只得到一个datanode,它是masternode datanode,但是我没有从其他datanode中找到和datanode。。所有日志文件看起来都不错,也不例外
dfsadmin-report的结果
Configured Capacity: 7791403008 (7.26 GB)
Present Capacity: 1433530368 (1.34 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: HadoopMaster
Decommission Status : Normal
Configured Capacity: 7791403008 (7.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6357872640 (5.92 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used%: 0.00%
DFS Remaining%: 18.40%
我在datanode的日志中发现所有datanode都试图连接到hadoopmaster:9000 and 无法连接
2014-09-16 04:06:32,721 INFO org.apache.hadoop.ipc.Client:
Retrying connect to server:
HadoopMaster/192.168.16.80:9000. Already tried 5 time(s);
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
但是namenode在hadoopmaster namenode上运行良好
21655 SecondaryNameNode
22467 Jps
21514 DataNode
21376 NameNode
21809 ResourceManager
我检查了hdfs的端口是否打开
tcp 0 0 HadoopMaster:9000 *:* LISTEN 21376/java
**hadoopmaster vi ssh登录可访问的所有datanode无密码
有什么建议吗。。
1条答案
按热度按时间n3ipq98p1#
似乎存在一些配置问题:来自master的jps不应该显示datanode正在运行。
如果您特别添加了主节点作为主节点的从属节点,那么在jps中也应该显示节点管理器。
请核对以下文件: