scalatest maven plugin maven test记录过多的spark属性

wqsoz72f  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(315)

scalatest maven plugin mvn测试给出了过多的Spark特性。我可以使用spark.sparkcontext.setloglevel(“error”)抑制日志我可以使用logback.xml抑制其他日志但是,spark属性没有被删除,构建时间增加了很多倍。
事情是这样的:

-- listing properties --
spark.sql.execution.id=17
spark.rdd.scope={"id":"581","name":"collect"}
spark.rdd.scope.noOverride=true
-- listing properties --
spark.sql.execution.id=17
spark.rdd.scope={"id":"581","name":"collect"}
spark.rdd.scope.noOverride=true

有没有人面对这个问题,知道如何抑制Spark属性上市?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题