apache-kafka Kafka的消费群体花了很多时间在重新平衡

70gysomp  于 2022-11-01  发布在  Apache
关注(0)|答案(1)|浏览(147)

我正在使用Kafka和Python创建一个平台,其中消费者是ML模型,我试图将请求转发给这个ML模型,但大多数时候消费者群体都在重新平衡。我有几个问题:
1.最好给予消费者一个ID,以减少重新平衡的时间,对吗?
1.如果消费者在逻辑上是分开的,消费不同的主题,那么把他们放在单独的消费者组中是不是更好?
1.如何在启动系统时减少重新平衡时间?我正在修改www.example.com中的参数group.initial.rebalance.delay.msserver.properties,是否有规则可以更改此参数?另外,在创建使用者时,是否建议更改heartbeat_interval_ms和session_timeout_ms?如何更改?

xtfmy6hx

xtfmy6hx1#

最好为使用者提供一个ID,以减少重新平衡时间
ID不影响使用者超时
最好把他们放在不同的消费群体中
视您的使用案例而定。不同的群组会以唯一方式追踪主题位移。您可以在每个群组中使用多个主题,但如果一个主题的数据比另一个主题多很多,则您可能无法以您想要的速度进行行程。在此情况下,您可以在每个群组中执行多个行程/线索和(或)建立新群组。
我正在修改www.example.com中的参数group.initial.rebalance.delay.msserver.properties,是否存在更改此参数的规则?
据我所知没有。不过你需要重新启动集群来修改这个。
您是否建议我更改heartbeat_interval_ms和session_timeout_ms?
假设你的消费者正在从“做得太多”中恢复平衡,那么是的。
怎么做?
它们是KafkaConsumer构造函数的参数...
您可能还想尝试增加max_poll_interval_ms

相关问题