我面临着一个问题,Kafka主题消费从一个主题与滞后。
以下是一些详细信息:
- 我使用的是带有组ID的erlang brod客户端
- 我在同一组中有多个消费者(3到5个)
- 如果我的消费者崩溃或断开连接一段时间,它的组ID将有一个巨大的滞后(我们谈论的是每天约1.5亿条消息)
- 如果我重新启动消费者并保留其组ID,我可以看到延迟略有下降,但随后延迟继续增长,就好像没有消费者一样
- 从消费者指标中,我可以看到消费的消息数量最终会停滞,我不明白为什么会发生这种情况。如果我使用不同的组ID重新启动消费者,他们将从最新的消息开始消费数据,并且能够跟上生产率(这意味着没有明显的滞后)
1条答案
按热度按时间whhtz7ly1#
您的选项包括
1.运行更多的使用者,最多达到分区的数量
1.以较小的批处理来使用、处理和提交,假设它的工作速度比来自生产者的数据快
1.增加生产商的批量大小,以发送相同的数据,但不那么频繁