备份hadoop以便安装新的集群,最佳实践

1zmg4dgp  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(419)

我正在构建一个新的hadoop集群(扩展节点数量并扩展当前节点的容量),需要备份所有现有数据。现在我只是把所有的东西都打包并发送到另一个服务器上。
有没有一种更聪明的方法可以让我在新集群建立后轻松部署?
edit:我还应该指出,我没有在集群上存储任何数据。我将数据带到集群中,对其进行处理,然后将处理后的数据发送回原始服务器。集群上的任何临时数据都将被删除。

cgh8pdjw

cgh8pdjw1#

使用distcp将hdfs数据传输到其他集群或任何云以存储数据。如果您想安排备份过程,您可以使用oozie distcp进行备份过程!!

相关问题