在intellij中运行作业时,会在日志中获得所需的结果。但是,当我在cdh 5.3集群中运行同一个jar时,我们有一个livy服务器正在运行,我得到以下错误:-
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/data/2/yarn/nm/filecache/164/spark-assembly-1.6.1-hadoop2.6.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/hadoop/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/jars/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
我有没有办法只在spark提交时排除hadoop位置slf4j jar?或者其他建议?
我们正在使用yarn作为spark作业的集群管理器。
暂无答案!
目前还没有任何答案,快来回答吧!