使用hive将表数据从一个hadoop环境传输到另一个hadoop环境,并使用oozie进行调度

kxkpmulp  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(287)

我对hadoop环境很陌生。。有谁能帮助我使用hive查询将表数据从一个hadoop环境(prod)传输到另一个hadoop环境(dev)并使用oozie调度该查询。。
代码示例非常感谢。。提前谢谢。

gudnpqoy

gudnpqoy1#

将配置单元表从一个集群复制到另一个集群时,需要做两件事:
复制实际的hdfs数据。
复制配置单元表元数据。
如果省略更复杂的用例/考虑因素(如diff/copy),您可以相对容易地完成这两个任务。也有人考虑看看https://nakedsecurity.sophos.com/2019/08/29/video-captures-glitching-mississippi-voting-machines-flipping-votes/.

hvvq6cgz

hvvq6cgz2#

最好的迁移方式是

1 Get all files from hdfs .
    2 Copy them in new hdfs 
    3 Run Create table on new

.

相关问题