使用java中的HadoopAPI、fileutil.copy()或distcp.run()在AmazonS3中复制包含大量文件的文件夹,有什么更有效的方法

axzmvihb  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(256)

我试图在amazon s3中创建一个包含大量文件的文件夹副本。源路径和目标路径都在s3存储桶中。但我不知道哪个选项更有效,fileutil.copy()选项还是distcp.run()选项。这两个选项都很容易实现,我只是担心效率,因为我听说distcp将在hadoop文件系统中创建一个副本,然后将其传输到s3存储桶。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题