替换hadoop namenodes和journal节点的步骤

yqlxgs2m  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(704)

设置:我们有3台机器:m1、m2和m3下面是这些机器上的角色:

m1: namenode (active), zookeeper, hbase master, journalnode
m2: namenode (standby), zookeeper, hbase master, journalnode
m3: zookeeper, hbase master, journalnode

我们在qjm中使用namenodeha设置
所有三台机器都需要更换新机器(带ssd):新的\u m1、新的\u m2和新的\u m3

new_m1: namenode (active), zookeeper, hbase master, journalnode
new_m2: namenode (standby), zookeeper, hbase master, journalnode
new_m3: zookeeper, hbase master, journalnode

替换将导致集群停机,但是一旦引入新的主节点,集群应该能够恢复其正常操作。
我需要帮助,以了解详细的步骤,需要更换日志节点和主动+备用namenodes与新的硬件,没有任何数据丢失。
非常感谢最详细的一步一步的回答,谢谢
没有hadoop版本升级,但这只是硬件的就地替换。

z0qdvdin

z0qdvdin1#

案例一:
如果您已经将hadoop、hbase和zookeeper(带有temp、dfs和namenode目录)安装在一个公共文件夹下,那么备份数据就很容易了。从现在起,我们把这个文件夹称为主文件夹。就这么做吧:
1在新的活动名称节点系统中创建主文件夹:
sudo mkdir -p /path/to/home/folder sudo chown -R hadoopuser:hadoopgroup /path/to/home/folder 2复制主文件夹的所有内容(保留权限): sudo scp -rp /path/to/home/folder/in/old/active/namenode hadoopuser@new-active-node-ip:/path/to/home/folder 三。对备用namenode和从属节点重复这两个步骤。
注意:在编辑之前创建每个节点的/etc/hosts文件的备份。
4为了减少工作负载,请使用与中的旧节点相同的名称重命名新节点 /etc/hosts 文件(如果需要,请给旧节点起一些其他名称)
5启动新的namenode以检查它是否工作。
案例二:
如果hadoop temp、dfs、namenode和journal目录不属于您的主文件夹(即,您已将这些目录配置为不同于主文件夹),请执行以下操作:
1标识目录位置:
在core-site.xml和hdfs-site.xml中查找hadoop temp、dfs、namenode、journal目录的位置。
2复制内容:
对每个目录执行案例i中的步骤1步骤2以保留权限。
三。启动新的namenode以检查它是否工作。

相关问题