如果hadoop中的节点更改其ip地址会发生什么情况?

rqenqsqc  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(740)

我的hadoop集群由于网络状况而无法正常工作。如果我像另一个路由器一样更改整个网络,从而更改ip地址怎么办?集群是否仍然可以通过更新一些配置来工作?或者我必须拆掉它重建一切?提前谢谢

arknldoa

arknldoa1#

一旦你将ip地址更改为配置,它就会工作,你为什么不使用dns呢?
好吧,这不是一个好的答案,让我道歉,给一个更好的答案。如果您需要更改正在运行的集群上的配置,您可以解除数据节点的工作并对其进行调试。
关闭数据节点不是一个好主意。
数据节点停用
第一步是告诉Yarn你要删除一些节点,然后你必须说同样的节点管理器。
我不知道你的系统是否配置为退役,如果是这样的话你就有钥匙了 yarn.resourcemanager.nodes.exclude-path 进入 yarn-site.xml 以及 dfs.hosts.exclude 进入 hdfs-site.xml hdfs-site.xml文件

<property>
  <name>dfs.hosts.exclude</name>
  <value>$YOUR_PATH/dfs.exclude</value>
  <final>true</final>
</property>

yarn-site.xml文件

<property>
  <name>dfs.hosts.exclude</name>
  <value>$YOUR_PATH/dfs.exclude</value>
  <final>true</final>
</property>

打开文件 $YOUR_PATH/dfs.exclude 并添加需要停止的节点的主机名/ip地址。
执行

yarn rmadmin  -refreshNodes
hdfs dfsadmin -refreshNodes

检查数据节点是否处于停用状态检查web界面。
数据节点调试
和退役的方式一样
yarn-site.xml文件

<property>
  <name>yarn.resourcemanager.nodes.include-path</name>
  <value>$YOUR_PATH/dfs.include</value>
  <final>true</final>
</property>

hdfs-site.xml文件

<property>
  <name>dfs.hosts</name>
  <value>$YOUR_PATH/dfs.include</value>
  <final>true</final>
</property>

打开文件 $YOUR_PATH/dfs.include 并添加需要添加的节点的主机名/ip地址。

yarn rmadmin  -refreshNodes
hdfs dfsadmin -refreshNodes

等一下

hdfs dfsadmin -report

现在,您添加的主机已添加到列表中。
如果配置缺少上述键,则需要在添加它们之后停止/重新启动节点管理器和Yarn。
使用这些过程可以安全地停止数据节点。

相关问题