当我想发送一个包含long类型字段的avro消息时,出现以下错误:
Caused by: org.apache.kafka.common.errors.SerializationException: Error deserializing Avro message for id 61
Caused by: java.lang.ClassCastException: java.lang.Long cannot be cast to org.joda.time.DateTime
我使用Confluent3.2.0和ApacheSpark2.2.0。这个错误在spark作业中抛出,spark作业处理avro消息并在控制台中打印它们。在avro模式中,相应的字段定义如下:
{\"name\": \"event_time\", \"type\": { \"type\" : \"long\", \"logicalType\": \"timestamp-millis\"}}
在由 .avsc
文件中,该字段定义如下:
private DateTime event_time;
3条答案
按热度按时间cgfeq70w1#
我在使用Confluent4.0.0和AVRO1.8.2时遇到了类似的问题。我有一个流处理器,试图将long转换为datetime。我通过添加正确的转换克服了这个问题。在开始任何处理逻辑之前,我使用了特定的数据静态实用程序类并添加了正确的逻辑类型转换。
1sbrub3j2#
在avro 1.9.x及更高版本中,符号
TimestampConversion
已经不存在了。将@user3222582中的上述内容替换为TimestampMillisConversion
修正了avro1.9.2的编译错误kgqe7b3p3#
尝试将avro dependency中的avro版本升级到1.9.x,pom.xml中的avro maven插件升级到1.9.x
还要确保从avro模式中删除先前生成的类并进行mvn编译。