我想把数据从一个卷移到另一个卷。文件夹和文件大小各不相同。文件可以高达100GB,但我们也可以有很多小文件。如果目标卷中的特定文件夹中有数据,则可以将其覆盖。
到目前为止,我已经尝试过了(为了演示的目的,代码已经简化了)
(1)for root, directories, files in os.walk(src):
for file in files:
mv -v <src> <dest>
(2)hadoop distcp -overwrite -m100 <src> <dest>
小于10 gb,mv选项速度更快。在10 gb时,两个选项都需要大约2分钟的传输时间。
暂无答案!
目前还没有任何答案,快来回答吧!