如果我的分区比使用者多,会丢失消息吗?

kgsdhlau  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(371)

我正在使用storm kafka api读取来自kafka主题的消息,该主题包含3个副本和70个分区,我使用的kafka喷口有15个执行器,是否可能因为我没有70个执行器而丢失消息?
如何确保kafka中的所有消息都被消费者接收?
谢谢您

egdjgwm8

egdjgwm81#

默认情况下,kafka对您已经知道的提交给kafka的数据提供至少一次的交付保证。如果用户组的用户示例少于分区,则将根据分区分配策略为用户分配多个分区。默认情况下,它使用rangeassignor。你可以在这里阅读更多关于Kafka交付语义的内容。

相关问题