scalatest maven plugin mvn测试给出了过多的Spark特性。我可以使用spark.sparkcontext.setloglevel(“error”)抑制日志我可以使用logback.xml抑制其他日志但是,spark属性没有被删除,构建时间增加了很多倍。
事情是这样的:
-- listing properties --
spark.sql.execution.id=17
spark.rdd.scope={"id":"581","name":"collect"}
spark.rdd.scope.noOverride=true
-- listing properties --
spark.sql.execution.id=17
spark.rdd.scope={"id":"581","name":"collect"}
spark.rdd.scope.noOverride=true
有没有人面对这个问题,知道如何抑制Spark属性上市?
暂无答案!
目前还没有任何答案,快来回答吧!