我正在spark中编写一些单元测试用例，然后在eclipse中运行。
eclipse控制台id正确地显示了Dataframe的内容，但在这个过程中也显示了许多与执行状态相关的行，我不需要这些行：
[Stage 1:====> (17 + 1) / 200]
[Stage 1:======> (24 + 1) / 200]
[Stage 1:========> (31 + 1) / 200]
[Stage 1:===========> (40 + 1) / 200]
[Stage 1:=============> (47 + 1) / 200]
[Stage 1:==============> (53 + 1) / 200]
[Stage 1:=================> (61 + 1) / 200]
[Stage 1:===================> (70 + 1) / 200]
[Stage 1:======================> (79 + 1) / 200]
[Stage 1:========================> (88 + 1) / 200]
[Stage 1:===========================> (97 + 1) / 200]
[Stage 1:=============================> (107 + 1) / 200]
[Stage 1:================================> (117 + 1) / 200]
[Stage 1:==================================> (127 + 1) / 200]
[Stage 1:=====================================> (137 + 2) / 200]
[Stage 1:========================================> (148 + 1) / 200]
[Stage 1:===========================================> (158 + 1) / 200]
[Stage 1:==============================================> (168 + 1) / 200]
[Stage 1:================================================> (177 + 1) / 200]
[Stage 1:===================================================> (187 + 1) / 200]
[Stage 1:======================================================>(197 + 1) / 200]这样的行太多了，很难分析多元组转换后Dataframe的内容
我已经检查了其他问题（link1，link2），询问如何限制日志。例如，添加以下行：
import org.apache.log4j.Logger
import org.apache.log4j.Level
Logger.getLogger("org").setLevel(Level.ERROR)
Logger.getLogger("akka").setLevel(Level.ERROR)但是，仍会显示阶段信息。有没有办法将eclipse或spark配置为不显示所有这些信息？
1条答案
按热度按时间vsaztqbk1#
您能将spark session下的日志记录级别设置为error并检查一次吗？
sparkSession.sparkContext.setLogLevel("ERROR")有关更多信息，请参阅本文件-http://spark.apache.org/docs/latest/configuration.html#configuring-伐木