我像这样运行Pypark:
IPYTHON=1 pyspark --master 'local[32]' --driver-class-path '/opt/spark_jars/*'
哪里 /opt/spark_jars/
包含bonecp、slf4j和我在使用spark时需要的各种其他jar。我可以验证它们是否都成功地结束在spark驱动程序的类路径上。 spark-defaults.conf
还包含以下行:
spark.executor.extraClassPath /opt/spark_connector/*
spark.driver.extraClassPath /opt/spark_connector/*
但是,当我加载存储在hdfs中的Parquet文件时会发生这种情况:
In [1]: data = sqlCtx.load('/user/spark/parquet/data')
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
15/09/23 10:52:57 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)
15/09/23 10:52:58 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)
就好像某个单独的java进程正在运行,它不共享驱动程序或执行器类路径,但是我找不到任何关于它的文档。spark 1.3.1和spark 1.5.0都会出现此问题。
暂无答案!
目前还没有任何答案,快来回答吧!