hadoop2.2.0多节点集群安装在ec2-4ubuntu12.04t2.0上

vwkv1x7d  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(368)

我按照本教程在amazonec2上设置hadoop2.2.0多节点集群。我在ssh和scp方面遇到了很多问题,我可以通过stackoverflow上的文章来解决这些问题,但不幸的是,我无法解决最新的问题。
我附加了核心配置文件core-site.xml、hdfs-site.xml等,还附加了一个日志文件,它是运行start-dfs.sh命令时的转储输出。这是启动集群的最后一步,它给出了一系列错误,我不知道如何处理它们。
所以我有4个节点完全相同的ami被使用。ubuntu 12.04 64位t2.micro 8gb示例。名称节点辅助节点(snn)从属1从属2
配置与上面提到的教程中建议的几乎相同。
我已经能够用winscp和ssh从一个示例连接到另一个示例。为了安全起见,我们已经复制了所有的配置文件、主文件、从文件和.pem文件,而且这些示例似乎可以互相访问。
如果有人能看看日志,配置文件,.bashrc文件,让我知道我做错了什么。
所有示例都使用相同的安全组hadoopec2securitygroup。允许所有tcp通信,并且ssh端口已打开。附带的压缩文件夹中的屏幕截图。我可以用ssh从namenode连接到secondary namenode(ssn)。从属服务器也是如此,这意味着ssh正在工作,但当我启动hdfs时,一切都会停止。错误日志也没有抛出任何有用的异常。所有的文件和截图都可以在这里找到压缩文件夹。
控制台上错误输出的摘录如下
在[openjdk 64位服务器上启动namenodes vm警告:您已加载library/usr/local/hadoop/lib/native/libhadoop.so.1.0.0,它可能已禁用堆栈保护。vm现在将尝试修复堆栈保护。强烈建议您使用'execstack-c'修复库,或使用'-z noexecstack'链接库。ec2-54-72-106-167.eu-west-1.compute.amazonaws.com]您:ssh:无法解析主机名您:名称或服务未知have:ssh:无法解析主机名have:名称或服务未知loaded:ssh:无法解析主机名loaded:名称或服务未知vm:ssh:无法解析主机名vm:名称或服务未知库:ssh:无法不解析主机名库:名称或服务未知服务器:ssh:无法解析主机名服务器:名称或服务未知警告::ssh:无法解析主机名警告::名称或服务未知哪个:ssh:无法解析主机名哪个:名称或服务未知哪个:ssh:无法解析主机名守护。:name or service not known guard已知have:ssh:无法解析主机名have:名称或服务未知may:ssh:无法解析主机名may:名称或服务未知
.....

z4iuyo4d

z4iuyo4d1#

将以下条目添加到.bashrc,其中hadoop\u home是您的hadoop文件夹:
export hadoop\u common\u lib\u native\u dir=$hadoop\u home/lib/native export hadoop\u opts=“-djava.library.path=$hadoop\u home/lib”
hadoop 2.2.0:“名称或服务未知”警告
hadoop 2.2.0 64位安装,但无法启动

相关问题