我们有一个消费者服务，它总是试图使用消费者组从主题中读取数据。由于重新部署，我们的Kafka集群周期性地被拆除并重新创建。
每当集群再次出现时，我们注意到，尽管前面的主题是从zookeeper中挑选出来的，但是前面的消费者组并没有被创建。正因为如此，我们正在运行的由以前的消费者组创建的消费者进程被卡住了，永远不会出现。
消费者群体的行为应该是这样的，还是我们需要在某个地方启用配置？
非常感谢您的帮助。
我们有一个消费者服务，它总是试图使用消费者组从主题中读取数据。由于重新部署，我们的Kafka集群周期性地被拆除并重新创建。
每当集群再次出现时，我们注意到，尽管前面的主题是从zookeeper中挑选出来的，但是前面的消费者组并没有被创建。正因为如此，我们正在运行的由以前的消费者组创建的消费者进程被卡住了，永远不会出现。
消费者群体的行为应该是这样的，还是我们需要在某个地方启用配置？
非常感谢您的帮助。
1条答案
按热度按时间xmd2e60i1#
Kafka经纪人保存着健康消费者和消费群体的缓存，如果整个集群被破坏/重建，它就不再了解这些消费者和群体，包括补偿。消费者将不得不重新连接和重新建立群体，并从主题的开头开始抵消。
在操作上，让kafka集群长期运行，并以滚动的方式进行版本升级，这样就不会中断服务，这更有意义。