apachespark:加载hdfs parquet文件会导致slf4j、bonecp错误

t9aqgxwy  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(223)

我像这样运行Pypark:

IPYTHON=1 pyspark --master 'local[32]' --driver-class-path '/opt/spark_jars/*'

哪里 /opt/spark_jars/ 包含bonecp、slf4j和我在使用spark时需要的各种其他jar。我可以验证它们是否都成功地结束在spark驱动程序的类路径上。 spark-defaults.conf 还包含以下行:

spark.executor.extraClassPath       /opt/spark_connector/*
spark.driver.extraClassPath         /opt/spark_connector/*

但是,当我加载存储在hdfs中的Parquet文件时会发生这种情况:

In [1]: data = sqlCtx.load('/user/spark/parquet/data')
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
15/09/23 10:52:57 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)
15/09/23 10:52:58 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)

就好像某个单独的java进程正在运行,它不共享驱动程序或执行器类路径,但是我找不到任何关于它的文档。spark 1.3.1和spark 1.5.0都会出现此问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题