zookeeper在哪里存储Kafka集群和相关信息?

xxslljrj  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(332)

通过说cluster info,我指的是
订阅的消费者/消费者群体
读取和提交偏移量
分区的领导者和追随者
服务器上的主题等。
zookeeper是否将这些信息保存在自己的数据库中(尽管我之前从未听说zookeeper有自己的数据库),或者它将这些信息存储在kafka集群中的一些主题等?
编辑:还有一个后续问题:zookeeper如何从消费偏移主题中检索消费偏移?

vnzz0bqm

vnzz0bqm1#

zookeeper数据模型zookeeper有一个分层的名称空间,很像一个分布式文件系统。唯一的区别是命名空间中的每个节点都可以有与其关联的数据以及子节点。这就像有一个文件系统,允许一个文件也成为一个目录。到节点的路径总是表示为规范的、绝对的、斜杠分隔的路径;没有相对参考。
所以没有数据库。
偏移量保存在kafka中,而不是zookeeper中,在本主题中:\消费者\偏移量
在zookeeper节点中:

提供活动代理的列表

ls/经纪人/ids

提供主题列表

ls/经纪人/主题

提供代理id“0”的更详细信息

获取/brokers/ids/0
在这里,您可以阅读更多关于zookeeper中的kafka数据结构:kafka datastructures zookeeper
有一个kip可以一起移除zookeeper:kip remove zookeeper

相关问题