我想运行聚合查询（例如，在列/colfam中，值“1”对某些行键重复多少次）。我想在压缩数据上运行这些查询，因为它们将提供更好的性能，而且我们可以完全跳过解压缩。
我目前正在使用hbase的聚合客户端，它看起来像（还没有检查源代码…可能是错误的）hbase使用它的b树索引找到行键，解压该块并按顺序读取数据。有没有办法跳过解压过程？
看起来redshift（paraccel）也在以同样的方式进行聚合。
如何通过处理压缩数据使hbase calc计数。如果这是不可能的，是否有任何其他列数据库提供此功能。
1条答案
按热度按时间jaxagkaj1#
redshift使用“区域Map”来避免不必要的解压。对于每个压缩的1mb“块”，存储每列的最小/最大/计数（加上其他一些）。
每个块的内容由排序键定义。如果您的查询与排序键对齐（并且可以从区域Map中得到回答），那么redshift将不会不必要地解压缩数据。
以上这些都不利于阅读文献和广泛使用。当然是ymmv。