如何在本地计算机上备份整个hdfs数据

wbgh16ku  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(424)

我们有3个节点的小型cdh集群,大约有2tb的数据。我们计划扩展它,但在此之前,当前的hadoop机器/机架正在重新定位。我只想确保我有备份在本地机器,以防机架不知何故没有重新安置(或在途中损坏),我们必须安装新的。如何确保这一点?
我从cloudera管理器中获取了hdfs数据的快照作为备份,它驻留在集群上。但在这种情况下,我需要在本地机器或硬盘上备份整个数据。请告知。

guykilcj

guykilcj1#

把数据分散到某处。
可能选项:
自己的解决方案-临时集群-2tb不是那么多,硬件很便宜。
托管解决方案—到云。有大量的存储服务提供商。如果不确定,s3应该适合您。当然,数据传输是您的成本,但是托管服务和自己的服务之间总是有一种权衡。

相关问题