我有一个databricks群集,我想将群集日志存储在ADLS Gen 2帐户中。为此,我遵循了以下答案-
How to re-direct logs from Azure Databricks to another destination?
此外,this article讨论了创建集群并将日志发送到ADLS,但编写了一个CURL命令来创建集群。
但这没有用。我把日志里的挂载脚本改了一下-
但这也无济于事。
我有一个databricks群集,我想将群集日志存储在ADLS Gen 2帐户中。为此,我遵循了以下答案-
How to re-direct logs from Azure Databricks to another destination?
此外,this article讨论了创建集群并将日志发送到ADLS,但编写了一个CURL命令来创建集群。
但这没有用。我把日志里的挂载脚本改了一下-
但这也无济于事。
1条答案
按热度按时间fwzugrvs1#
目前,Azure Databricks不支持将日志直接写入ADLS(与允许直接写入的AWS和GCP相反)。解决方案是将您的存储容器装载到Databrikcs(使用dbutils.fs.mount命令),然后将群集配置指向该装载位置。