更改hdfs的服务器位置

rsl1atfo  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(379)

我试着按照这里的教程:https://www.quickprogrammingtips.com/big-data/how-to-install-hadoop-on-mac-os-x-el-capitan.html,但在尝试运行线路时出现了一个奇怪的错误

sbin/start-dfs.sh

当我运行脚本时,它不会引起任何抱怨,但是namenode实际上并没有启动。当我去检查日志时,我看到了这个错误:

2020-01-30 13:30:52,700 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: censoredsite.com:0
    at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:995)
    at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:932)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:171)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:834)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:692)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:898)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:877)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1603)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1671)
Caused by: java.net.BindException: Can't assign requested address
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:433)
    at sun.nio.ch.Net.bind(Net.java:425)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
    at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
    at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:990)

前面有一行:

2020-01-30 13:30:52,359 INFO org.apache.hadoop.hdfs.DFSUtil: Starting Web-server for hdfs at: http://censoredsite.com/archive:50070

似乎hdfs的web服务器已经被设置为不应该设置的值,我在网上搜索了一下,但是找不到这个值应该是什么(我假设localhost?),也找不到如何在配置文件中实际更改它。
另一件有趣的事是这个“审查网站”实际上是一个。。。我几年前常去的淫秽场所。我完全不知道它是如何进入我的hdfs配置细节的,非常担心它会以某种方式进入我的计算机。现在有人知道如何显式更改org.apache.hadoop.hdfs.dfsutil的位置了吗?谢谢。

laximzn5

laximzn51#

听起来它像是作为站点Map出现在/etc/hosts文件中。。。
不过,更改地址的方法是在hdfs-site.xml中 dfs.namenode.http-address https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
或者,在vm中安装hadoop,或者下载cloudera快速入门,在那里都是预先配置的

相关问题