我使用hbase来存储大量的传感器数据。我试着用一个txt文件来存储我的传感器数据，对于一个20mb的文件，如果我压缩它，它会在磁盘上减少到1mb。我的问题是：在将数据存储到磁盘时，hbase本身是否自动进行压缩？谢谢
zzwlnbp81#
您还可以在以后修改表以添加压缩支持。然后您的数据将在下一次压缩时被真正压缩（正如ali所说，因为一个新的hfile将被写入磁盘）。据我所知，压缩算法是在块级别使用的，而不是在整个hfile上。这意味着在读取数据时，它不必解压缩几个gbs的hfile，而只需解压缩几个kbs的数据块。
w3nuxt5m2#
可以使用lzo、gzip或snappy进行hbase压缩。如果您希望将lzo/snappy用于hbase压缩（包括gzip），则需要自己设置它们。通常情况下-lzo比gzip压缩快，但gzip压缩比通常更好。snappy具有强大的压缩能力，但压缩比通常更差。创建表时-可以指定压缩/压缩库-如果使用压缩，则在写入磁盘时压缩文件（读取时需要解压缩）。希望有帮助
2条答案
按热度按时间zzwlnbp81#
您还可以在以后修改表以添加压缩支持。然后您的数据将在下一次压缩时被真正压缩（正如ali所说，因为一个新的hfile将被写入磁盘）。据我所知，压缩算法是在块级别使用的，而不是在整个hfile上。这意味着在读取数据时，它不必解压缩几个gbs的hfile，而只需解压缩几个kbs的数据块。
w3nuxt5m2#
可以使用lzo、gzip或snappy进行hbase压缩。如果您希望将lzo/snappy用于hbase压缩（包括gzip），则需要自己设置它们。
通常情况下-lzo比gzip压缩快，但gzip压缩比通常更好。snappy具有强大的压缩能力，但压缩比通常更差。
创建表时-可以指定压缩/压缩库-如果使用压缩，则在写入磁盘时压缩文件（读取时需要解压缩）。
希望有帮助