我如何列出所有包含数据流的主题?
我和Zookeeper有一个Kafka集群(合流7.2.1)。我有120多个主题,其中一些不活跃。我可以使用kafka-topics --list --bootstrap-server...列出所有主题。这将返回所有主题的列表。我希望列出目前有数据在它的主题。我有关于我的主题的数据,最多7天。谢谢
kafka-topics --list --bootstrap-server...
qojgxg4l1#
开箱即用,没有简单的方法来做到这一点。
您需要遍历每个主题,然后将名称传递给带有-1和-2标志的GetOffsetShell命令,以获得开始和结束偏移量,然后比较它们;当它们匹配时,主题当前为空,但这并不意味着新的生产者没有在您运行该工具的几秒钟内启动。
-1
-2
或者,可能有像普罗米修斯导出器这样的度量工具,可以查询Broker日志目录的磁盘使用情况并报告空文件夹
1条答案
按热度按时间qojgxg4l1#
开箱即用,没有简单的方法来做到这一点。
您需要遍历每个主题,然后将名称传递给带有
-1
和-2
标志的GetOffsetShell命令,以获得开始和结束偏移量,然后比较它们;当它们匹配时,主题当前为空,但这并不意味着新的生产者没有在您运行该工具的几秒钟内启动。或者,可能有像普罗米修斯导出器这样的度量工具,可以查询Broker日志目录的磁盘使用情况并报告空文件夹