intellijidea-运行spark应用程序时禁用信息消息

ql3eal8s 于 2021-05-29 发布在 Hadoop

关注(0)|答案(3)|浏览(323)

我在运行应用程序时收到了很多消息，以至于使用apachespark和hbase/hadoop库。例如：

0 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory  - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(about=, sampleName=Ops, always=false, type=DEFAULT, valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)])

如何禁用它，所以我就直接开始了 println(varABC) 只是？

hadoop hbase scala apache-spark

来源：https://stackoverflow.com/questions/38695761/intellijidea-disable-info-message-when-running-spark-application

3条答案

按热度按时间

mmvthczy1#

低于 $SPARK_HOME/conf dir修改 log4j.properties 文件-更改值 INFO 至 ERROR 具体如下：

log4j.rootLogger=${root.logger}
root.logger=ERROR,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
log4j.logger.org.apache.spark.repl.Main=WARN
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

这将禁用所有 INFO 记录消息并只打印 ERROR 或者 FATAL 记录消息。您可以根据需要更改这些值。

赞(0）回复(0）举报 2021-05-30

oogrdqng2#

您看到的是spark通过log4j生成的日志，因为默认情况下，它启用了相当一部分打印输出到stderr的日志。您可以像通常配置log4j行为一样配置它，例如通过log4j.properties配置文件。参考http://spark.apache.org/docs/latest/configuration.html#configuring-伐木

赞(0）回复(0）举报 2021-05-29

ve7v8dk23#

在/spark-2.0.0-bin-hadoop2.6/conf文件夹中有一个文件log4j.properties.template
从log4j.properties.template重命名为log4j.properties
并在log4j.properties中进行以下更改
from:log4j.rootcategory=info，console到：log4j.rootcategory=error，console
希望这有帮助！！！。。。

赞(0）回复(0）举报 2021-05-29

我来回答

intellijidea-运行spark应用程序时禁用信息消息

3条答案

相关问题

热门标签

最新问答