如何在hadoop配置中使用amazon示例的公共ip？

whitzsjs 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(364)

我试图通过使用amazon示例的公共ip来配置hadoop，而不是使用它们的网络内ip，因为我的目标是创建一个混合集群，即云+本地机器集群。尽管所有的ssh设置都非常好，但是当使用amazon公共ip时，hadoop仍然无法连接（datanodes找不到namenode）。我在hbase的zookeeper配置中使用了amazon示例的公共ip，并将其正确连接。那么为什么hbase连接而hadoop不连接呢？
Kafka也有同样的问题。

hadoop hbase apache-kafka ssh amazon-ec2

来源：https://stackoverflow.com/questions/35289942/how-to-use-amazon-instances-public-ips-in-hadoop-configuration

2条答案

按热度按时间

aemubtdh1#

我找到了答案。
诀窍是在'/etc/hosts'文件中不要有任何关于amazon ec2示例的条目，而且'~/.ssh/config'文件在涉及amazon示例时只应包含以下设置：

Host ec2-x-x-x-x.compute-1.amazonaws.com
    StrictHostKeyChecking no
    IdentityFile /path to private key

在这里 ec2-x-x-x-x.compute-1.amazonaws.com 是amazon示例的公共ip。

赞(0）回复(0）举报 2021-05-29

mpbci0fu2#

删除.ssh/known\u hosts文件并重试

赞(0）回复(0）举报 2021-05-29

我来回答

如何在hadoop配置中使用amazon示例的公共ip？

2条答案

相关问题

热门标签

最新问答