通过说cluster info,我指的是订阅的消费者/消费者群体读取和提交偏移量分区的领导者和追随者服务器上的主题等。zookeeper是否将这些信息保存在自己的数据库中(尽管我之前从未听说zookeeper有自己的数据库),或者它将这些信息存储在kafka集群中的一些主题等?编辑:还有一个后续问题:zookeeper如何从消费偏移主题中检索消费偏移?
vnzz0bqm1#
zookeeper数据模型zookeeper有一个分层的名称空间,很像一个分布式文件系统。唯一的区别是命名空间中的每个节点都可以有与其关联的数据以及子节点。这就像有一个文件系统,允许一个文件也成为一个目录。到节点的路径总是表示为规范的、绝对的、斜杠分隔的路径;没有相对参考。所以没有数据库。偏移量保存在kafka中,而不是zookeeper中,在本主题中:\消费者\偏移量在zookeeper节点中:
ls/经纪人/ids
ls/经纪人/主题
获取/brokers/ids/0在这里,您可以阅读更多关于zookeeper中的kafka数据结构:kafka datastructures zookeeper有一个kip可以一起移除zookeeper:kip remove zookeeper
1条答案
按热度按时间vnzz0bqm1#
zookeeper数据模型zookeeper有一个分层的名称空间,很像一个分布式文件系统。唯一的区别是命名空间中的每个节点都可以有与其关联的数据以及子节点。这就像有一个文件系统,允许一个文件也成为一个目录。到节点的路径总是表示为规范的、绝对的、斜杠分隔的路径;没有相对参考。
所以没有数据库。
偏移量保存在kafka中,而不是zookeeper中,在本主题中:\消费者\偏移量
在zookeeper节点中:
提供活动代理的列表
ls/经纪人/ids
提供主题列表
ls/经纪人/主题
提供代理id“0”的更详细信息
获取/brokers/ids/0
在这里,您可以阅读更多关于zookeeper中的kafka数据结构:kafka datastructures zookeeper
有一个kip可以一起移除zookeeper:kip remove zookeeper