在实时hadoop集群中-将数据从on prem迁移到云而不复制

vd8tlhqk  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(227)

在livehadoop集群中,如何将prem上的数据迁移到云上,而不将prem上的数据复制到云上,因为数据大小超过1petabyte。如果我们这样做与复制然后由于网络带宽,传输将需要几个星期。假设集群中有40个数据节点位于位置a,我们希望将数据移动到位于位置b的数据中心所在的云中。复制数据的复制因子为3。我的解决方案是每天在集群中添加5个云节点,在运行均衡器之后,每天在prem节点上停止2个。假设数据在1天内平衡,那么整个集群迁移到云端至少需要20天。
我在想别的办法,也在想是否有人能纠正我的计划。
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题