在我的spring boot应用程序中，我正在阅读kafka主题中的消息，并将消息保存到hbase中。如果数据库关闭，消息从主题中被消耗，我应该如何确保消息不会丢失。有人能给我一个示例代码吗。
ckocjqey1#
如果代码在处理记录的过程中遇到错误，作为开发人员，您需要负责处理重试或错误捕获。SpringKafka无法为您捕获KafkaAPI之外的错误。也就是说，Kafka不会删除记录，因为它只是消费，直到它完全过期的主题。你绝对应该 enable.auto.commit 在成功执行数据库操作后，以hbase中可能出现的重复记录为代价，设置并提交自己的偏移量我还想指出的是，您可能应该使用kafka connect，这是为了将外部系统集成到kafka，而不是普通的消费者。
enable.auto.commit
1条答案
按热度按时间ckocjqey1#
如果代码在处理记录的过程中遇到错误，作为开发人员，您需要负责处理重试或错误捕获。SpringKafka无法为您捕获KafkaAPI之外的错误。
也就是说，Kafka不会删除记录，因为它只是消费，直到它完全过期的主题。你绝对应该
enable.auto.commit在成功执行数据库操作后，以hbase中可能出现的重复记录为代价，设置并提交自己的偏移量我还想指出的是，您可能应该使用kafka connect，这是为了将外部系统集成到kafka，而不是普通的消费者。