erlang 消费Kafka主题的数据具有巨大的滞后性

dhxwm5r4  于 2023-01-06  发布在  Erlang
关注(0)|答案(1)|浏览(219)

我面临着一个问题,Kafka主题消费从一个主题与滞后。
以下是一些详细信息:

  • 我使用的是带有组ID的erlang brod客户端
  • 我在同一组中有多个消费者(3到5个)
  • 如果我的消费者崩溃或断开连接一段时间,它的组ID将有一个巨大的滞后(我们谈论的是每天约1.5亿条消息)
  • 如果我重新启动消费者并保留其组ID,我可以看到延迟略有下降,但随后延迟继续增长,就好像没有消费者一样
  • 从消费者指标中,我可以看到消费的消息数量最终会停滞,我不明白为什么会发生这种情况。如果我使用不同的组ID重新启动消费者,他们将从最新的消息开始消费数据,并且能够跟上生产率(这意味着没有明显的滞后)
whhtz7ly

whhtz7ly1#

您的选项包括
1.运行更多的使用者,最多达到分区的数量
1.以较小的批处理来使用、处理和提交,假设它的工作速度比来自生产者的数据快
1.增加生产商的批量大小,以发送相同的数据,但不那么频繁

相关问题