我手里有一个技术挑战。需要在两个不同的aws VPC之间传输200tb的hadoop数据。有以下限制无vpc对等无第三方软件安装下面是解决方案。试着跳一跳，但表演不是很好hadoop数据到efs数据..-->efs到efs-->efs到hadoop
ruyhziif1#
1） 请不要使用efs复制efs。这与s3复制相比非常慢。2） 使用多个bucket复制数据。使用复制3）使用distcp将数据从hdfs复制到s3
1条答案
按热度按时间ruyhziif1#
1） 请不要使用efs复制efs。这与s3复制相比非常慢。
2） 使用多个bucket复制数据。使用复制3）使用distcp将数据从hdfs复制到s3