我在运行应用程序时收到了很多消息,以至于使用apachespark和hbase/hadoop库。例如:
0 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(about=, sampleName=Ops, always=false, type=DEFAULT, valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)])
如何禁用它,所以我就直接开始了 println(varABC)
只是?
3条答案
按热度按时间mmvthczy1#
低于
$SPARK_HOME/conf
dir修改log4j.properties
文件-更改值INFO
至ERROR
具体如下:这将禁用所有
INFO
记录消息并只打印ERROR
或者FATAL
记录消息。您可以根据需要更改这些值。oogrdqng2#
您看到的是spark通过log4j生成的日志,因为默认情况下,它启用了相当一部分打印输出到stderr的日志。您可以像通常配置log4j行为一样配置它,例如通过log4j.properties配置文件。参考http://spark.apache.org/docs/latest/configuration.html#configuring-伐木
ve7v8dk23#
在/spark-2.0.0-bin-hadoop2.6/conf文件夹中有一个文件log4j.properties.template
从log4j.properties.template重命名为log4j.properties
并在log4j.properties中进行以下更改
from:log4j.rootcategory=info,console到:log4j.rootcategory=error,console
希望这有帮助!!!。。。