spark avro java.lang.arrayindexoutofboundsexception:将Dataframe序列化到avro时为100

jmp7cifd  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(321)

我正在处理一个问题,当通过spark avro库序列化/反序列化yarn集群中的avro文档时。尽管我在stackoverflow中看到了类似的问题,但没有任何回应可以帮助我们解决这个问题。
例外情况是:

java.lang.ArrayIndexOutOfBoundsException: 100
    at org.apache.avro.io.parsing.Symbol$Alternative.getSymbol(Symbol.java:402)
    at org.apache.avro.io.ResolvingDecoder.doAction(ResolvingDecoder.java:290)
    at org.apache.avro.io.parsing.Parser.advance(Parser.java:88)
    at org.apache.avro.io.ResolvingDecoder.readIndex(ResolvingDecoder.java:267)
    at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:178)
    at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:152)
    at org.apache.avro.generic.GenericDatumReader.readField(GenericDatumReader.java:240)
    at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:230)
    at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:174)
    at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:152)
    at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:144)

是否存在处理此例外的方法?avro模式是从dataframe数据结构计算的,所以我不能共享特定的模式。
提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题