我们有基于hdp的hadoop集群 version 2.6.5 Spark簇 ambari 2.6.1 集群运行spark应用程序 HDFS . 这个 HDFS 安装在所有工人身上。
在linux rhel机器上的以下路径下，我们可以看到 spark2 日志

[root@master1]# du -sh *
4.0K    spark-hive-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2.com.out
75G     spark-spark-org.apache.spark.deploy.history.HistoryServer-1-spark2.com.out

因为这个巨大的 spark2 日志( 75G )，我们可能需要配置 log4j 在Ambari advanced spark2-log4j-properties ，如下所示

# Set everything to be logged to the console

log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose

log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

我们需要帮助，以便根据以下规则配置日志spark-spark-org.apache.spark.deploy.history.historyserver-1-spark2.com.out：
滚动文件追加器
文件大小限制为100m
备份文件数为3
我很乐意得到关于额外费用的建议 log4j