我对hadoop环境很陌生。。有谁能帮助我使用hive查询将表数据从一个hadoop环境(prod)传输到另一个hadoop环境(dev)并使用oozie调度该查询。。代码示例非常感谢。。提前谢谢。
gudnpqoy1#
将配置单元表从一个集群复制到另一个集群时,需要做两件事:复制实际的hdfs数据。复制配置单元表元数据。如果省略更复杂的用例/考虑因素(如diff/copy),您可以相对容易地完成这两个任务。也有人考虑看看https://nakedsecurity.sophos.com/2019/08/29/video-captures-glitching-mississippi-voting-machines-flipping-votes/.
hvvq6cgz2#
最好的迁移方式是
1 Get all files from hdfs . 2 Copy them in new hdfs 3 Run Create table on new
.
2条答案
按热度按时间gudnpqoy1#
将配置单元表从一个集群复制到另一个集群时,需要做两件事:
复制实际的hdfs数据。
复制配置单元表元数据。
如果省略更复杂的用例/考虑因素(如diff/copy),您可以相对容易地完成这两个任务。也有人考虑看看https://nakedsecurity.sophos.com/2019/08/29/video-captures-glitching-mississippi-voting-machines-flipping-votes/.
hvvq6cgz2#
最好的迁移方式是
.