我按照通常的过程将日志级别更改为debug,但是在aws emr中运行的spark应用程序日志中没有看到调试级别的日志。我做了以下事情:
改变 log4j.rootCategory=DEBUG, console
在 conf/log4j.properties
我确认的文件在 spark-submit
.
我也在使用这些额外的配置 spark-submit
(本帖答案3)
--conf'spark.executor.extrajavaoptions=-dlog4j.configuration=path/to/log4j.properties'
--conf'spark.driver.extrajavaoptions=-dlog4j.configuration=path/to/log4j.properties'
启用yarn应用程序页上的调试日志/在 stderr
配置为写入s3的文件?
[另外,我试过 sc.setLogLevel("DEBUG")
这成功地启用了调试日志,但我不想做这样的代码更改。]
暂无答案!
目前还没有任何答案,快来回答吧!