pyspark 如何在Apache Spark 3+上关闭日志？

s2j5cfk0 于 2023-03-01 发布在 Spark

关注(0)|答案(1)|浏览(192)

我已经成功地安装了pyspark，“pyspark”命令启动了spark shell。尽管每当我使用“spark-submit”作为命令时，就会出现大量的日志消息。我尝试了其他问题的所有解决方案，但没有一个有效。我的文件名为“log4j2.templates”，其结构如下：

# Set everything to be logged to the console
rootLogger.level = info
rootLogger.appenderRef.stdout.ref = console

每当我尝试将其设置为ERROR/error或甚至在代码中设置它时，这些日志仍然会出现。有什么方法可以解决这个问题吗？

1条答案

尝试添加以下属性，它将强制记录器将级别错误设置为任何来自org.apache.spark的日志：

logger.spark.name = org.apache.spark
logger.spark.level = error

请注意，如果日志来自第三方，则此操作将不适用于来自第三方的日志。