我正在使用SpringKafka实现与kafka集成。我正在努力找出SpringKafka是如何在内部处理偏移提交的。我需要这些知识来决定我的灾难恢复策略,同时从一个kafka代理切换到dr kafka代理。请帮助我或将我转到一篇文章/博客,其中解释了spring的kafka实现如何处理偏移提交。谢谢。
kiayqfof1#
有关某些信息,请参阅文档:https://docs.spring.io/spring-kafka/docs/current/reference/html/#committing-偏移量。最后,提交被委托给 KafkaConsumer 任何方式:
KafkaConsumer
this.consumer.commitSync(commits, this.syncCommitTimeout);
或
this.consumer.commitAsync(commits, (offsetsAttempted, exception) -> {
因此,当您从一个代理切换到另一个代理而不在它们之间进行集群时,所有这些提交和偏移跟踪都没有意义。仅仅因为新代理上的数据是完全新的,并且它有自己的偏移量,即使主题名和分区在那里是相同的。
1条答案
按热度按时间kiayqfof1#
有关某些信息,请参阅文档:https://docs.spring.io/spring-kafka/docs/current/reference/html/#committing-偏移量。
最后,提交被委托给
KafkaConsumer
任何方式:或
因此,当您从一个代理切换到另一个代理而不在它们之间进行集群时,所有这些提交和偏移跟踪都没有意义。仅仅因为新代理上的数据是完全新的,并且它有自己的偏移量,即使主题名和分区在那里是相同的。