hadoop:多节点集群只能识别3个数据节点中的2个活动节点

cgvd09ve  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(655)

我在ubuntu上使用virtualbox安装了带有3个datanode和1个namenode的mutlinode hadoop。我的主机系统充当namenode(也是datanode),两个vm充当datanode。我的系统是:
192.168.1.5:名称节点(也称为数据节点)
192.168.1.10:数据节点2
192.168.1.11:数据节点3
我能够从每个系统ssh所有系统。我在所有系统上的hadoop/etc/hadoop/slaves都有如下条目:

192.168.1.5
192.168.1.10
192.168.1.11
``` `hadoop/etc/hadoop/master` 在所有系统上,输入为: `192.168.1.5` 全部 `core-site.xml` ,  `yarn-site.xml` ,  `hdfs-site.xml` ,  `mapred-site.xml` ,  `hadoop-env.sh` 在机器上相同,除了缺少 `dfs.namenode.name.dir` 在 `hdfs-site.xml` 在两个数据节点中。当我执行 `start-yarn.sh` 以及 `start-dfs.sh` 从namenode,所有的工作都很好,通过jps,我可以看到所有机器上所有必需的服务。

Jps on NameNode:
5840 NameNode
5996 DataNode
7065 Jps
6564 NodeManager
6189 SecondaryNameNode
6354 ResourceManager

Jps on DataNodes:
3070 DataNode
3213 NodeManager
3349 Jps

但是当我想从 `namenode/dfshealth.html#tab-datanode` 以及 `namenode:50070/dfshealth.html#tab-overview` ,两者都表示只有2个数据节点。
选项卡datanode将namenode和datanode2显示为活动datanode。datanode3根本不显示。
我多次检查了所有配置文件(提到xml、sh和slves/master),以确保两个datanode上没有什么不同。
也 `etc/hosts` 文件还包含所有系统中所有节点的条目:

127.0.0.1 localhost

127.0.1.1 smishra-VM2

192.168.1.11 DataNode3
192.168.1.10 DataNode2
192.168.1.5 NameNode

有一件事我想提的是,我配置了1虚拟机第一,然后我做了克隆。所以两个虚拟机都有相同的配置。所以更令人困惑的是,为什么显示的是1个数据节点,而不是另一个。
jecbmhm3

jecbmhm31#

看一看http://blog.cloudera.com/blog/2014/01/how-to-create-a-simple-hadoop-cluster-with-virtualbox/
我敢打赌,您的问题来自虚拟机上的网络配置。上面的文章有很多关于如何确保vms之间的内部网络正确设置的细节,包括正向和反向名称解析工作,没有重复的mac地址等,这对于hadoop集群正确工作是至关重要的。

相关问题