gpfs到hdfs的迁移

mkshixfv  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(267)

我有一个ibm的biginsight集群,其中有~5k个hive表和其他hbase数据以及一些大型sql表。所有的数据文件都是不同的格式,如文本、avro、bz2等。现在要从biginsight迁移到hdp(hortonworks数据平台),我需要了解如何将数据从gpfs移动到hdfs。
你能解释一下gpfs和hdfs在体系结构上的区别吗。对于这两个namenode,其工作方式类似。名称空间有什么变化。复制命名空间不起作用。
如何从其他hadoop集群访问GPF—只需distcp就可以了?
我们在移民时可以面对哪些挑战。
我有一些选择:
nfs网关
distscp公司
httpfs公司
webhdfs rest api
scp-安全副本
我唯一关心的是这些选项中的哪一个可以同时适用于gpfs和hdfs。如果没有针对我的场景进行测试,那么我应该选择的其他替代选项是什么。
请建议任何解决方案,还有什么我需要注意的。
谢谢。你好,帕迪普·沙玛。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题