我们有一个数据库，每天有超过亿***的统计记录。每个记录都有多个指标（m1到m10）和几个不可变的标签。
记录也可以与零个或多个组相关联。我们的想法是使用多个标签（例如g1, g2）来指示特定记录属于特定组。
我们的数据存储在每日级别，大多数时间序列数据库都针对更细粒度的数据进行了优化。当我们想要生成月度或季度图表时，这就出现了问题（例如InfluxDB的最大聚合周期为7 d）。我们需要一个真正针对日级别数据点进行优化的数据库，并且可以在月/季度/年级别上生成快速聚合。
再者，记录和组之间的关系是可变的，我们需要数据库支持记录的批量更新（pseudo：ADD TAG group1 TO records WHERE record_id: 101），或者至少快速删除/重新插入更新的数据。这个操作应该是比较快的。
我们需要一些东西，可以在聚合数千万（过滤）记录的数据时产生近实时的结果。
我们最初的解决方案是基于elasticsearch，它工作得很好，但想探索替代品在时间序列数据库利基。有人能推荐一个时间序列数据库，支持这些功能吗？
2条答案
按热度按时间slhcrj9b1#
尝试ClickHouse。它针对实时处理和查询大量数据进行了优化。我们成功地使用它在15节点集群上每天存储数千亿条记录。ClickHouse能够在每个CPU核心每秒扫描数十亿条记录，其查询性能与可用CPU核心的数量呈线性关系。
ClickHouse还支持不频繁的数据更新，因此您可以更新特定行的组。
如果你想要更多传统的TSDB，那么看看VictoriaMetrics。它是基于ClickHouse的架构思想构建的，所以它速度很快，并提供了良好的磁盘数据压缩。
vtwuwzda2#
免责声明我为开发这个系统的公司工作，我想说你可能想看看CrateDB，因为我认为它很适合你提到的要求，它针对大量数据的快速聚合进行了优化，它支持更新，你可以用标准SQL语言的完全灵活性查询数据，包括连接，CTE，窗口函数，CrateDB是开源的，你可以在本地运行它，但我注意到你正在寻找一个完全托管的服务，我们也提供了，CrateDB云，它有一个免费的层，如果你想给予一下。