在emr上更改spark应用程序的log4j配置后如何查看调试日志?

wqnecbli  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(239)

我按照通常的过程将日志级别更改为debug,但是在aws emr中运行的spark应用程序日志中没有看到调试级别的日志。我做了以下事情:
改变 log4j.rootCategory=DEBUG, consoleconf/log4j.properties 我确认的文件在 spark-submit .
我也在使用这些额外的配置 spark-submit (本帖答案3)
--conf'spark.executor.extrajavaoptions=-dlog4j.configuration=path/to/log4j.properties'
--conf'spark.driver.extrajavaoptions=-dlog4j.configuration=path/to/log4j.properties'
启用yarn应用程序页上的调试日志/在 stderr 配置为写入s3的文件?
[另外,我试过 sc.setLogLevel("DEBUG") 这成功地启用了调试日志,但我不想做这样的代码更改。]

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题