使用jsonstorage和apache pig另存为bz2格式

gzjq41n4 于 2021-06-21 发布在 Pig

关注(0)|答案(2)|浏览(310)

有没有办法用bz2和jsonstorage存储数据？
我试过了

STORE DATA INTO 'path_to_file.bz2’ USING JsonStorage();

但这并不成功。
我可以用pigstorage实现这一点，但它使用字符分隔符而不是json分隔字段。

2条答案

jsonstorage不支持压缩，但您可以编写自己的实现来实现：http://pig.apache.org/docs/r0.12.0/func.html#load-存储功能

1）在脚本开头启用压缩：

SET mapred.output.compress 'true';
SET mapred.output.compression.codec 'org.apache.hadoop.io.compress.BZip2Codec';

2）存储数据。

STORE DATA INTO 'path_to_file’ USING JsonStorage();

目录中的结果文件应该是bz2压缩的。