用我的配置覆盖log4j属性无法启动databricks集群

plupiseo  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(261)

我想将spark作业(用java编写)日志重定向到azure application insights。为此,我正在尝试用我的配置覆盖azure databricks群集中的log4j默认属性执行器文件。我创建了如下的初始化脚本,以便将app insights附加器添加到spark中执行器的默认属性文件中。dbutils.fs.put(“/databricks/init#scripts/acdp dev/verbose#logging.sh”,“”“#/bin/bash log4j.appender.aiappender=com.microsoft.applicationinsights.log4j.v1\u 2.applicationinsightsappender log4j.appender.aiappender.layout=org.apache.log4j.patternlayout log4j.appender.console.layout.conversionpattern=%d{yy/mm/dd hh:mm:ss}%p%c{1}:%m%n
log4j.logger.com.varian.uap.main=trace,aiappender“>>/home/ubuntu/databricks/spark/dbconf/log4j/executor/log4j.properties”“,true)
当我重新启动集群时,脚本无法执行。请让我知道,如果我在脚本中遗漏了什么或如果附录是正确的。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题