twitterKafka连接源到avro主题

1szpjjfi  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(159)

我一直在编写一个自定义Kafka连接器,从twitterapi读取并写入Kafka主题,我一直在尝试使用avro编码来编写这些消息,我发现这是非常困难的。使用的技术是融合docker kafka images 3.1.2和kafka client 0.10.1.0。为了生成avro对象,我使用了maven-plugin-avro-maven-plugin,它正确地生成了具有模式的对象。但是,我发现,为了创建源记录,我必须在java代码中复制相同的模式,创建一个自定义的“org.apache.kafka.connect.data.schema”,然后将所有信息通知org.apache.kafka.connect.data.struct对象。作为一个值转换器类,我使用avroconverter,查看代码(发送自定义对象的唯一形式)是将其作为struct对象发送,创建avro格式并使用它对对象进行编码。我不明白为什么它不能消化由avro maven插件创建的自定义类来序列化对象。我现在不知道这是否是正确的形式来创建一个连接器与avro序列化。
我能得到一些关于这个解决方案的反馈吗?谢谢大家。肖恩。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题