我在so和quora以及许多网站上看到了很多答案。当他们为ips配置防火墙时,一些问题得到了解决,一些人说这是一个ui故障。我很困惑。我有两个datanode:一个是纯datanode,另一个是namenode+datanode。问题是当我这么做的时候 <master-ip>:50075
它只显示一个datanode(也有namenode的机器的datanode)。但是我的 hdfs dfsadmin -report
显示了我有两个datanode,在主节点上启动hadoop之后,如果有 jps
在我的 pure-datanode-machine or slave machine
我可以看到datanode正在运行。两台机器上的防火墙都已关闭。 sudo ufw status verbose
给予 Status: inactive
回应。Spark也是这样。spark ui将工作节点显示为主节点而不是纯工作节点的节点。但工作节点正在其上运行 pure-worker-machine
. 再说一次,这是ui故障还是我遗漏了什么? hdfs dfsadmin -report
```
Configured Capacity: 991216451584 (923.14 GB)
Present Capacity: 343650484224 (320.05 GB)
DFS Remaining: 343650418688 (320.05 GB)
DFS Used: 65536 (64 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0
Live datanodes (2):
Name: 10.10.10.105:50010 (ekbana)
Hostname: ekbana
Decommission Status : Normal
Configured Capacity: 24690192384 (22.99 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 7112691712 (6.62 GB)
DFS Remaining: 16299675648 (15.18 GB)
DFS Used%: 0.00%
DFS Remaining%: 66.02%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 25 04:27:36 EDT 2017
Name: 110.44.111.147:50010 (saque-slave-ekbana)
Hostname: ekbana
Decommission Status : Normal
Configured Capacity: 966526259200 (900.15 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 590055215104 (549.53 GB)
DFS Remaining: 327350743040 (304.87 GB)
DFS Used%: 0.00%
DFS Remaining%: 33.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 25 04:27:36 EDT 2017
``` /etc/hadoop/masters
主节点上的文件
ekbana
``` `/etc/hadoop/slaves` 主节点上的文件
ekbana
saque-slave-ekbana
``` /etc/hadoop/masters
从节点上的文件
saque-master
注意:从机上的saque master和主机上的ekbanaMap到相同的ip。此外,ui看起来也类似于此问题的ui
2条答案
按热度按时间f4t66c6m1#
我也遇到了类似的问题,在这个问题上我看不到数据节点信息
dfshealth.html
第页。我有两个主人叫主人和奴隶。它能够在用户界面上看到数据节点。
f8rj6qna2#
这是因为相同的主机名(ekbana)。因此,在ui中,对于同一主机名,它将只显示一个条目。
如果要确认这一点,只需启动一个不在master中的datanode。您可以在ui中看到相应的条目。
如果您也启动了其他datanode,它将屏蔽同一主机名的第二个条目。
您可以更改主机名并重试。