我需要复制一个文件从BDL(业务数据湖)到ADLS。然后拆分成5个文件在ADLS的基础上的条件。我是Azure数据库的新手,需要如何操作的建议。
t40tm48m1#
将文件从Datalake复制到ADLS。请遵循以下方法。
使用此代码可以将数据从Datalake复制到ADLS
spark.conf.set( "fs.azure.account.key.<your-storage-account-name>.blob.core.windows.net", "<your-storage-account-access-key>") dbutils.fs.cp("abfss://<container>@<stoarge_account>.dfs.core.windows.net/<folder>/<subfolder>*','abfss://mycontainer@mydatalake.dfs.core.windows.net/')
或者
dbutils.fs.mv("dbfs:/tmp/test/**", "dbfs:/tmp/<folder_name>")
1条答案
按热度按时间t40tm48m1#
将文件从Datalake复制到ADLS。请遵循以下方法。
使用此代码可以将数据从Datalake复制到ADLS
或者