支持hbase/hadoop中的自定义压缩算法

tgabmvqs  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(160)

我正在hadoop/hbase上进行压缩实验,并想为hbase中的块压缩添加我自己的压缩例程。我看到hbase支持以下类型的开箱即用压缩:

create 'mytable', {NAME=>'colfam:', COMPRESSION=>'gz'}

其中“gz”可以替换为“lzo”(liv zempel)、“snappy”或“none”。
我的问题是,是否可以编写自己的压缩例程/编解码器,并将其用于上面的列族?比如:

create 'mytable', {NAME=>'colfam:', COMPRESSION=>'myCompressionRoutine'}

做这样的事情需要什么?
我还注意到一些java文档中有一个奇怪的注解。在此处可以找到以下注解:https://hbase.apache.org/0.94/apidocs/org/apache/hadoop/hbase/io/hfile/compression.algorithm.html
“压缩算法。这些文件的顺序不能改变,否则就有可能破坏所有现有的文件。即使是那些没有被压缩的(他们使用“无”算法

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题