消息“丢失”,kafka主题有2个分区,用key发送,而ok有1个分区

cngwdvgl  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(167)

我正在使用运行在python3.8上的kafkapython,并部署了一个基于confluent的kafka集群docker。生产者和消费者也嵌入到docker容器中
当我的主题由一个分区组成时,没有问题:所有发送的消息都被推入主题(verify by my own counters=counters reported by control center)
但是,当我为这个主题配置了2个分区,并且流量通过key进行负载平衡时,会有一些消息“丢失”。
我的sent计数器显示“1900 messages sent”(与“single partition”相同)
而control center在主题中显示了大约1800条消息(每个分区中几乎占50%)
消费端确认,消费1800条
生产者方面也不例外
因为我对Kafka还很陌生,所以我很感激你能帮我调查这个问题
谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题