在spark中读取数据时如何增加protobuf序列化大小以避免invalidprotocolbufferexception.sizelimitexceeded异常?

q43xntqr  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(363)

我正在使用spark1.3从hdfs读取protobuf数据流。但是,有些protobuf太大了,我得到一个例外:
com.google.protobuf.invalidprotocolbufferexception:协议消息太大。可能是恶意的。使用codedinputstream.setsizelimit()增加大小限制。位于com.google.protobuf.invalidprotocolbufferexception.sizeLimitException(invalidprotocolbufferexception)。java:110)"
以下是我如何读取数据:
sc.hadoopconfiguration.set(“protobuf.serialization.max.size”,“268435456”)//增加此大小没有帮助
val data=sc.newapihadoopfilelongwritable,someprotobufclass,sequencefileinputformat[longwritable,someprotobufclass]

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题