Apache Spark 如何在ADLS中存储数据块群集日志

knsnq2tg  于 2023-03-19  发布在  Apache
关注(0)|答案(1)|浏览(113)

我有一个databricks群集,我想将群集日志存储在ADLS Gen 2帐户中。为此,我遵循了以下答案-
How to re-direct logs from Azure Databricks to another destination?
此外,this article讨论了创建集群并将日志发送到ADLS,但编写了一个CURL命令来创建集群。
但这没有用。我把日志里的挂载脚本改了一下-

但这也无济于事。

fwzugrvs

fwzugrvs1#

目前,Azure Databricks不支持将日志直接写入ADLS(与允许直接写入的AWS和GCP相反)。解决方案是将您的存储容器装载到Databrikcs(使用dbutils.fs.mount命令),然后将群集配置指向该装载位置。

相关问题