Kafka消费者:使用自动提交的利弊

nnt7mjpx  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(807)

我正在构建一个消费者,我希望确保来自Kafka主题的每一条消息都得到相应的阅读和处理。虽然自动提交特性很吸引人,但我希望完全控制偏移量——也就是说,我只希望在处理顺利的情况下提交偏移量。
但是,我不确定将autocommit改为false的缺点。关闭自动提交的利弊是什么?它会表现得更慢吗?具有相同消费者名称的多个消费者是否会对此实现产生问题?

ljo96ir5

ljo96ir51#

性能实际上取决于您如何实现它—您可以同步或异步地提交偏移量,对提交偏移量这一事实的确定程度有不同的保证。通常,当您不手动提交偏移量时,您可以对其进行更多的控制—如您所愿。但是有一些警告,比如, commitSync 或者 commitAsync 正在提交通过轮询获得的偏移量,因此如果您在处理循环的中间提交,并且应用程序崩溃,那么您将丢失数据。
“Kafka。权威指南“有很大一部分关于提交和补偿-我建议阅读它-汇合分发该书的pdf免费。

相关问题