hdfs在私有云中使用cloudera管理器

zqdjd7g9  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(264)

我快疯了。我已经在这方面工作了好几天,但似乎无法解决这个问题。我在eucalyptus上运行一个私有云进行测试,4个虚拟机运行Ubuntu12.04。我试图让cloudera运行hdfs和map reduce,但是当我尝试启动它时,数据节点似乎永远无法与name节点通信。它安装良好,并通过了所有的发射前检查。主机文件都是用127.0.0.1 localhost和其他vm的ip和主机名设置的,防火墙都是禁用的,安全组被设置为允许一切。我可以通过telnet和netstat将8022端口从数据节点连接到名称节点,名称节点上的名称如下所示:
tcp 0 0 172.31.254.119:9000 0.0.0.0:*侦听6519/python
tcp 0.0.0.0:7432 0.0.0.0:*收听5672/postgres
tcp 0 0 127.0.0.1:9001 0.0.0.0:*侦听6538/python
tcp 0 0 172.31.254.119:50090 0.0.0.0:*侦听8694/java
tcp 0.0.0.0:7180 0.0.0.0:*侦听5680/java
tcp 0.0.0.0:7182 0.0.0.0:*侦听5680/java
tcp 0 0 172.31.254.119:8020 0.0.0.0:*侦听8689/java
tcp 0 0 172.31.254.119:50070 0.0.0.0:*侦听8689/java
tcp 0 0 172.31.254.119:8022 0.0.0.0:*侦听8689/java
tcp 0.0.0.0:22 0.0.0.0:*侦听576/sshd
tcp 0 0 127.0.0.1:5432 0.0.0.0:*收听5486/postgres
tcp6 0 0:::7432::*收听5672/postgres
tcp6 0 0:::22::*侦听576/sshd
但我一直得到的错误是:
未能发布事件:simpleevent{attributes={stacktrace=[org.apache.hadoop.ipc.remoteexception(org.apache.hadoop.hdfs.server.protocol.disallowedatanodeexception):datanode拒绝与namenode通信:datanoderegistration(172.31.254.110,storageid=ds-1259113373-172.31.254.110-50010-137839803531,infoport=50075,ipcport=50020,storageinfo=lv=-40;cid=簇9;nsid=46459994;c=0)
我非常感谢任何比我有更多linux/cloudera/eucalyptus经验的人的建议。
谢谢大家。

zvokhttg

zvokhttg1#

您已指定正在使用环回,但dn将自己标识为172.31.254.110。使用正确的主机名,而不是127.0.0.1。为了安全起见,将每台机器的主机名和ip添加到所有其他机器的/etc/hosts文件中。如果问题仍然存在,请显示您的配置文件。

相关问题