我希望能够坚持在avro格式的数据库中发布的消息后,我有我发布他们。如何从Kafka发布者获取已发布的avro消息,以便您可以持久化它?
jaql4c8m1#
一旦数据进入Kafka,你就需要一个消费者;否则,如果你只是打算立即在其他地方写唱片,有一个制片人是没有意义的。但是,是的,您使用记录内容调用了send,因此您可以在任何其他客户端中重用相同的POJO。如果你必须使用Kafka,你应该尝试使用Kafka Connect(Confluent维护了一个AvroConverter插件,可以与他们的KafkaAvroSerializer一起使用,如果你不使用这个,你需要编写自己的Converter实现)。换句话说,“读你写的”,不要在不同的系统上实现“两阶段提交”。例如,如果Kafka或数据库写起来很慢,哪个“赢”或者是“真理的来源”?并避免写入数据库“作为Avro”。使用数据库可用的实际数据类型(解析记录,这是Connect可以做的)
send
1条答案
按热度按时间jaql4c8m1#
一旦数据进入Kafka,你就需要一个消费者;否则,如果你只是打算立即在其他地方写唱片,有一个制片人是没有意义的。但是,是的,您使用记录内容调用了
send
,因此您可以在任何其他客户端中重用相同的POJO。如果你必须使用Kafka,你应该尝试使用Kafka Connect(Confluent维护了一个AvroConverter插件,可以与他们的KafkaAvroSerializer一起使用,如果你不使用这个,你需要编写自己的Converter实现)。换句话说,“读你写的”,不要在不同的系统上实现“两阶段提交”。例如,如果Kafka或数据库写起来很慢,哪个“赢”或者是“真理的来源”?
并避免写入数据库“作为Avro”。使用数据库可用的实际数据类型(解析记录,这是Connect可以做的)