我试着按照这里的教程:https://www.quickprogrammingtips.com/big-data/how-to-install-hadoop-on-mac-os-x-el-capitan.html,但在尝试运行线路时出现了一个奇怪的错误
sbin/start-dfs.sh
当我运行脚本时,它不会引起任何抱怨,但是namenode实际上并没有启动。当我去检查日志时,我看到了这个错误:
2020-01-30 13:30:52,700 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: censoredsite.com:0
at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:995)
at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:932)
at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:171)
at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:834)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:692)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:898)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:877)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1603)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1671)
Caused by: java.net.BindException: Can't assign requested address
at sun.nio.ch.Net.bind0(Native Method)
at sun.nio.ch.Net.bind(Net.java:433)
at sun.nio.ch.Net.bind(Net.java:425)
at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:990)
前面有一行:
2020-01-30 13:30:52,359 INFO org.apache.hadoop.hdfs.DFSUtil: Starting Web-server for hdfs at: http://censoredsite.com/archive:50070
似乎hdfs的web服务器已经被设置为不应该设置的值,我在网上搜索了一下,但是找不到这个值应该是什么(我假设localhost?),也找不到如何在配置文件中实际更改它。
另一件有趣的事是这个“审查网站”实际上是一个。。。我几年前常去的淫秽场所。我完全不知道它是如何进入我的hdfs配置细节的,非常担心它会以某种方式进入我的计算机。现在有人知道如何显式更改org.apache.hadoop.hdfs.dfsutil的位置了吗?谢谢。
1条答案
按热度按时间laximzn51#
听起来它像是作为站点Map出现在/etc/hosts文件中。。。
不过,更改地址的方法是在hdfs-site.xml中
dfs.namenode.http-address
https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml或者,在vm中安装hadoop,或者下载cloudera快速入门,在那里都是预先配置的