我有azure存储帐户，并且在单个文件夹中有一些文件（超过数百万个文件）。我想使用dbutils.fs.mv到另一个文件夹。最快的方法是什么？
a8jjtwal1#
您可以尝试以下方法。
azcopy copy "https://rakeshgen2.blob.core.windows.net/mysource2/<SAS Key>" "https://rakeshgen2.blob.core.windows.net/targetdata/<SAS Key>" --recursive=true
您可以通过此link了解更多有关azcopy性能的信息。1.您可以在安装后使用dbutils.fs.mv或dbutils.fs.cp。
azcopy
dbutils.fs.mv
dbutils.fs.cp
try: dbutils.fs.mv("/mnt/mysource2/","/mnt/targetadb",recurse=True) except: pass
1.如果您的结构中没有递归文件夹，Copy activity也可能适用。阅读文档以了解拷贝活动的性能和速度。
1条答案
按热度按时间a8jjtwal1#
您可以尝试以下方法。
请使用下面的示例代码。
您可以通过此link了解更多有关
azcopy性能的信息。1.您可以在安装后使用
dbutils.fs.mv或dbutils.fs.cp。1.如果您的结构中没有递归文件夹，Copy activity也可能适用。
阅读文档以了解拷贝活动的性能和速度。