我在一个Kafka主题中获得了30多万个指标/分钟的时间序列。我想存储和查询数据。符合我要求的可视化工具是grafana。为了高效地存储和查询，我正在考虑将这些时间序列存储在prometheus中。
Kafka主题与很多时间系列->普罗米修斯->格拉法纳
我不太确定，我怎么能做到这一点，因为普罗米修斯是拉式刮削法。即使我写了一个pull服务，它会允许我拉300k/分钟的指标吗？
SYS 1, UNIX TIMESTAMP, CPU%, 10
SYS 1, Processor, UNIX TIMESTAMP, CPUCACHE, 10
SYS 2, UNIX TIMESTAMP, CPU%, 30
.....大部分文章都讨论Kafka出口商/jmx出口商来监控Kafka。我不是在寻找kafka监控，而是将timeseries数据存储在一个主题中，并利用prometheus查询语言和grafana进行分析。
1条答案
按热度按时间72qzrwbm1#
我强烈建议不要使用这种方法，prometheus exporters主要用于基于度量的分析和监视：例如，您希望每10秒检查一个主题/分区发送了多少条消息。
你可以按照你所描述的去做，但是如果你根据你的集群规格不断地刮取那么多的数据，这可能会给你的prometheus集群和存储带来严重的压力。
如果您真的想存储和查询基于时间序列的事件，我建议您将它们记录到elasticsearch。您可以将grafana连接到elasticsearch，并将其用作查询的数据源。
另一个选择是在grafana的网站上搜索基于社区的Kafka Jmeter 盘，这些 Jmeter 盘由普罗米修斯数据源填充，看看其中是否有你需要的指标。通过这种方式，您可以确定哪个出口商适合您：https://grafana.com/grafana/dashboards?datasource=prometheus&direction=desc&orderby=reviewscount&search=kafka