jsonpath-java.lang.nosuchfielderror:defaultreader

7jmck4yq  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(600)

我正在尝试将jayawayjsonpath用于sparkrdd操作(spark版本1.6.3)jsonpath版本2.0.0我在运行时得到以下堆栈跟踪。

java.lang.NoSuchFieldError: defaultReader
        at com.jayway.jsonpath.spi.json.JsonSmartJsonProvider.<init>(JsonSmartJsonProvider.java:39)
        at com.jayway.jsonpath.internal.DefaultsImpl.jsonProvider(DefaultsImpl.java:21)
        at com.jayway.jsonpath.Configuration.defaultConfiguration(Configuration.java:179)
        at com.virtualpairprogrammers.JavaIntroduction.returnJsonData(JavaIntroduction.java:115)
        at com.virtualpairprogrammers.JavaIntroduction$1.call(JavaIntroduction.java:58)
        at com.virtualpairprogrammers.JavaIntroduction$1.call(JavaIntroduction.java:1)
        at org.apache.spark.api.java.JavaPairRDD$$anonfun$toScalaFunction$1.apply(JavaPairRDD.scala:1015)
        at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
        at scala.collection.Iterator$$anon$10.next(Iterator.scala:312)
        at scala.collection.Iterator$class.foreach(Iterator.scala:727)
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
        at scala.collection.generic.Growable$class.$plus$plus$eq(Growable.scala:48)
        at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:103)
        at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:47)
        at scala.collection.TraversableOnce$class.to(TraversableOnce.scala:273)
        at scala.collection.AbstractIterator.to(Iterator.scala:1157)
        at scala.collection.TraversableOnce$class.toBuffer(TraversableOnce.scala:265)
        at scala.collection.AbstractIterator.toBuffer(Iterator.scala:1157)
        at scala.collection.TraversableOnce$class.toArray(TraversableOnce.scala:252)
        at scala.collection.AbstractIterator.toArray(Iterator.scala:1157)
        at org.apache.spark.rdd.RDD$$anonfun$take$1$$anonfun$29.apply(RDD.scala:1335)
        at org.apache.spark.rdd.RDD$$anonfun$take$1$$anonfun$29.apply(RDD.scala:1335)
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1857)
        at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1857)
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
        at org.apache.spark.scheduler.Task.run(Task.scala:89)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:227)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

当我在eclipse中运行它时,只有使用jsonpath提取json数据,我才能正确地得到结果。当我使用spark submit时,我收到了上面的错误消息。
link读了它,但和我的用例没有关系。
如果有人已经面对这个问题,并修复了它,请帮助我向前迈进。
下面是我使用的代码片段,

JavaRDD<Document> rdd = MongoSpark.load(jsc);
JavaRDD<String> fullFile = rdd.map(new Function<Document, String>() {

                public String call(Document s) {
                    String values="";
                    Configuration conf1 = Configuration.defaultConfiguration().addOptions(Option.SUPPRESS_EXCEPTIONS);
                    ReadContext ctx = JsonPath.using(conf1).parse(s.toJson());

                    for (int i = 0; i < charsetNameArray.length;i++) {
                                                values=values+"|"+ctx.read("$."+charsetNameArray[i]);
                    }
                    return values;
                }
            });

我也尝试过从eclipse运行json路径,它对我来说很好。运行spark submit时,它失败了。
提前谢谢,谢谢

wfveoks0

wfveoks01#

我做了很多尝试,我认为jsonpath与hadoop2.7及以下版本不兼容。以下是参考链接:-参考
使用jsonflatten进行展平,然后使用rdd中的map函数将其转换为可读或可用的rdd。
下面是maven对同一类的依赖关系。

<dependency>
<groupId>com.github.wnameless</groupId>
<artifactId>json-flattener</artifactId>
<version>0.2.2</version>
</dependency>

相关问题