在最近的kafka版本中，消费者组列表存储在哪里？

owfi6suc 于 2021-06-04 发布在 Kafka

关注(0)|答案(2)|浏览(589)

显然，在早期的Kafka版本中，某个消费群体的消费者列表存储在zookeeper中。Kafka最新版本的信息存储在哪里？

apache-kafka apache-zookeeper kafka-consumer-api

来源：https://stackoverflow.com/questions/59433201/where-are-consumer-groups-list-stored-in-recent-kafka-version

2条答案

按热度按时间

3phpmpom1#

自kafka 0.10以来，消费群体列表存储在 __consumer_offsets 主题。
该主题包含提交的偏移量和组元数据（group.id、members、generation、leader…）。使用存储组 GroupMetadataMessage 消息（偏移量） OffsetsMessage ).
可以使用groupmetadatamessageformatter转储组元数据。例如：

./bin/kafka-console-consumer.sh \
  --formatter "kafka.coordinator.group.GroupMetadataManager\$GroupMetadataMessageFormatter" \
  --bootstrap-server localhost:9092 \
  --topic __consumer_offsets

请注意，这是一个压缩的主题，因此要获得组列表，需要“具体化”所有条目。这就是经纪人在使用 listConsumerGroups() 应用程序编程接口

赞(0）回复(0）举报 2021-06-04

xxb16uws2#

zookeeper中仍有消费者群体。它们的偏移量存储在kafka中，因为0.9“高水平”消费

赞(0）回复(0）举报 2021-06-04