我正在spark中编写一些单元测试用例,然后在eclipse中运行。
eclipse控制台id正确地显示了Dataframe的内容,但在这个过程中也显示了许多与执行状态相关的行,我不需要这些行:
[Stage 1:====> (17 + 1) / 200]
[Stage 1:======> (24 + 1) / 200]
[Stage 1:========> (31 + 1) / 200]
[Stage 1:===========> (40 + 1) / 200]
[Stage 1:=============> (47 + 1) / 200]
[Stage 1:==============> (53 + 1) / 200]
[Stage 1:=================> (61 + 1) / 200]
[Stage 1:===================> (70 + 1) / 200]
[Stage 1:======================> (79 + 1) / 200]
[Stage 1:========================> (88 + 1) / 200]
[Stage 1:===========================> (97 + 1) / 200]
[Stage 1:=============================> (107 + 1) / 200]
[Stage 1:================================> (117 + 1) / 200]
[Stage 1:==================================> (127 + 1) / 200]
[Stage 1:=====================================> (137 + 2) / 200]
[Stage 1:========================================> (148 + 1) / 200]
[Stage 1:===========================================> (158 + 1) / 200]
[Stage 1:==============================================> (168 + 1) / 200]
[Stage 1:================================================> (177 + 1) / 200]
[Stage 1:===================================================> (187 + 1) / 200]
[Stage 1:======================================================>(197 + 1) / 200]
这样的行太多了,很难分析多元组转换后Dataframe的内容
我已经检查了其他问题(link1,link2),询问如何限制日志。例如,添加以下行:
import org.apache.log4j.Logger
import org.apache.log4j.Level
Logger.getLogger("org").setLevel(Level.ERROR)
Logger.getLogger("akka").setLevel(Level.ERROR)
但是,仍会显示阶段信息。有没有办法将eclipse或spark配置为不显示所有这些信息?
1条答案
按热度按时间vsaztqbk1#
您能将spark session下的日志记录级别设置为error并检查一次吗?
sparkSession.sparkContext.setLogLevel("ERROR")
有关更多信息,请参阅本文件-http://spark.apache.org/docs/latest/configuration.html#configuring-伐木