在提交spark应用程序时,如何将日志文件名作为参数传递给spark submit。下面是我的log4j.properties文件和spark submit参数
log4j属性文件
log = /tmp/log
log4j.rootLogger = ERROR, FILE
# Define the file appender
log4j.appender.FILE=org.apache.log4j.FileAppender
log4j.appender.FILE.File=${log}/SparkNotifcations.log
# Define the layout for file appender
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.conversionPattern=%m%n
在上面的sparknotifications.log是我的日志文件,我想在下面的spark submit中传递这个文件名
spark-submit --conf "spark.driver.extraJavaOptions=${log4j_setting}" \
--conf "spark.executor.extraJavaOptions=${log4j_setting}" --class com.spark.SparkLoggingCheck \
--master yarn /XXX/XXXX/sparkprogram_2.11-0.1.jar --files /spark/log4j.properties
暂无答案!
目前还没有任何答案,快来回答吧!