hdfs的默认namenode端口是50070但是我在一些地方遇到过8020或9000

ryevplcw  于 2021-06-03  发布在  Hadoop
关注(0)|答案(10)|浏览(3178)

当我设置hadoop集群时,我看到namenode在50070上运行,我进行了相应的设置,它运行良好。
但在一些书中,我遇到了名称节点地址:

hdfs://localhost:9000/

hdfs://localhost:8020

设置namenode端口的正确数字到底是多少?

ct3nt3jp

ct3nt3jp1#

要访问hadoopwebui,需要键入http://localhost:50075/尽管core-site.xmlhttp://localhost:9000,因为它用于hdfs请求,而50075是web ui的默认端口。

s71maibg

s71maibg2#

还有其他http端口将在服务器中运行以进行监视。示例:50070、8088、9870、9864、9868、16010、16030
无法通过web浏览器访问hadoop ipc(进程间通信器)端口(如9000)。
您可以通过以下命令在浏览器中找到可以访问的端口:

lsof -i -P -n | grep LISTEN

例如,我的服务器中的端口是:
hadoop群集-http://server-name:8088/簇
hadoop名称节点/dfs运行状况-http://server-name:9870/dfshealth.html#选项卡概述
hadoop数据节点-http://server-name:9864/datanode.html
hadoop状态-http://server-name:9868/status.html
hbase主机状态-http://server-name:16010/主状态
hbase区域服务器-http://server-name:16030/rs状态

eufgjt7s

eufgjt7s3#

50070是http的namenode的默认ui端口。对于它的50470。9000是ipc端口(进程间通信器)。如果你点击localhost:50070,您可以看到namenode配置的概览9000(活动)和onlocalhost:9000 you 将得到消息:“看起来您正在向hadoop ipc端口发出http请求。这不是此守护程序上web界面的正确端口。“文件系统元数据操作需要此端口。

ryhaxcpt

ryhaxcpt4#

如果找不到web界面,可以检查每个守护进程监听的端口。例如,要检查namenode正在侦听的端口:

lsof -Pan -iTCP -sTCP:LISTEN -p `jps | grep "\sNameNode" | cut -d " " -f1`

这将为您提供类似的输出

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    4053   pi  275u  IPv6  45474      0t0  TCP *:9870 (LISTEN)
java    4053   pi  288u  IPv6  43476      0t0  TCP 127.0.0.1:9000 (LISTEN)

如你所见 *:9870 已列出,这是web界面。
说明: lsof -Pan -iTCP -sTCP:LISTEN -p <pid> 列出所有tcp状态为侦听的网络文件。 -p 按进程id筛选列表。因此,通过在此命令后插入进程id,您可以看到进程正在侦听的所有端口。 jps | grep "\sNameNode" | cut -d " " -f1 获取namenode的进程id。

e4eetjau

e4eetjau5#

默认的hadoop端口如下:(http端口,它们有web ui):

Daemon                   Default Port  Configuration Parameter
-----------------------  ------------ ----------------------------------
Namenode                 50070        dfs.http.address
Datanodes                50075        dfs.datanode.http.address
Secondarynamenode        50090        dfs.secondary.http.address
Backup/Checkpoint node?  50105        dfs.backup.http.address
Jobracker                50030        mapred.job.tracker.http.address
Tasktrackers             50060        mapred.task.tracker.http.address

在内部,hadoop主要使用hadoopipc(进程间通信器的缩写)在服务器之间进行通信。下表显示了hadoop使用的端口和协议。此表不包括上述http端口。

Daemon      Default Port        Configuration Parameter     
------------------------------------------------------------
Namenode    8020                fs.default.name         
Datanode    50010               dfs.datanode.address        
Datanode    50020               dfs.datanode.ipc.address                                    
Backupnode  50100               dfs.backup.address

查看此链接了解更多信息:http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/

yzckvree

yzckvree6#

在hadoop3.x上,namenode的默认端口是9870。请参阅https://hadoop.apache.org/docs/r3.0.0/ 详情。

a0x5cqrl

a0x5cqrl7#

namenode web ui的默认地址是 http://localhost:50070/ . 您可以在浏览器中打开此地址并检查名称节点信息。
namenode服务器的默认地址是 hdfs://localhost:8020/ . 您可以通过hdfsapi连接到它来访问hdfs。是真正的服务地址。

j2qf4p5b

j2qf4p5b8#

9000是默认的hdfs服务端口。它没有web ui。50070是默认的namenode web ui端口(尽管在hadoop 3.0以后的版本中50070更新为9870)

qhhrdooz

qhhrdooz9#

这是因为不同的hadoop配置和发行版的默认值是不同的。我们总是可以通过在core-site.xml中更改fs.default.name或fs.defaultfs属性来配置端口

<configuration>
 <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
 </property>
</configuration>

对于hadoop1.0.4,如果我没有像下面这样提到端口号

<value>hdfs://localhost</value>

则默认端口为8020。但是对于一些版本,比如.20,我读到是9000。因此它取决于您使用的hadoop版本。
但是所有的配置和分发都使用50070作为hdfsui的标准端口号。

hgncfbus

hgncfbus10#

50070是namenode的默认ui端口。而8020/9000是namenode的进程间通信器端口(ipc)。
ipc端口参考:https://en.wikipedia.org/wiki/inter-process_communication

相关问题