Apache Spark 将文件从BDL复制到ADLS

xa9qqrwz  于 2022-12-30  发布在  Apache
关注(0)|答案(1)|浏览(114)

我需要复制一个文件从BDL(业务数据湖)到ADLS。然后拆分成5个文件在ADLS的基础上的条件。
我是Azure数据库的新手,需要如何操作的建议。

t40tm48m

t40tm48m1#

将文件从Datalake复制到ADLS。请遵循以下方法。

使用此代码可以将数据从Datalake复制到ADLS

spark.conf.set(
    "fs.azure.account.key.<your-storage-account-name>.blob.core.windows.net",
    "<your-storage-account-access-key>")

dbutils.fs.cp("abfss://<container>@<stoarge_account>.dfs.core.windows.net/<folder>/<subfolder>*','abfss://mycontainer@mydatalake.dfs.core.windows.net/')

或者

dbutils.fs.mv("dbfs:/tmp/test/**", "dbfs:/tmp/<folder_name>")

相关问题