我正在使用spark1.3从hdfs读取protobuf数据流。但是,有些protobuf太大了,我得到一个例外:
com.google.protobuf.invalidprotocolbufferexception:协议消息太大。可能是恶意的。使用codedinputstream.setsizelimit()增加大小限制。位于com.google.protobuf.invalidprotocolbufferexception.sizeLimitException(invalidprotocolbufferexception)。java:110)"
以下是我如何读取数据:
sc.hadoopconfiguration.set(“protobuf.serialization.max.size”,“268435456”)//增加此大小没有帮助
val data=sc.newapihadoopfilelongwritable,someprotobufclass,sequencefileinputformat[longwritable,someprotobufclass]
暂无答案!
目前还没有任何答案,快来回答吧!