Kafka生产者如何将已发布的avro消息持久化到数据库中?

wfsdck30  于 2023-10-15  发布在  Apache
关注(0)|答案(1)|浏览(137)

我希望能够坚持在avro格式的数据库中发布的消息后,我有我发布他们。
如何从Kafka发布者获取已发布的avro消息,以便您可以持久化它?

jaql4c8m

jaql4c8m1#

一旦数据进入Kafka,你就需要一个消费者;否则,如果你只是打算立即在其他地方写唱片,有一个制片人是没有意义的。但是,是的,您使用记录内容调用了send,因此您可以在任何其他客户端中重用相同的POJO。
如果你必须使用Kafka,你应该尝试使用Kafka Connect(Confluent维护了一个AvroConverter插件,可以与他们的KafkaAvroSerializer一起使用,如果你不使用这个,你需要编写自己的Converter实现)。换句话说,“读你写的”,不要在不同的系统上实现“两阶段提交”。例如,如果Kafka或数据库写起来很慢,哪个“赢”或者是“真理的来源”?
并避免写入数据库“作为Avro”。使用数据库可用的实际数据类型(解析记录,这是Connect可以做的)

相关问题