ApachePig—使用hcatwriter从pig存储时,如何在支持avro的配置单元表上启用snappy压缩

e0uiprwp  于 2021-06-24  发布在  Pig
关注(0)|答案(0)|浏览(256)

我创建了一个配置单元表,如下所示:

set hive.exec.compress.output=true;
set avro.output.codec=snappy;

CREATE EXTERNAL TABLE my_table (
  aaa     STRING,
  ...
)
STORED AS AVRO LOCATION '/somewhere/my_table';

我现在想通过pig脚本将数据加载到此表中:

...
do lots of stuff
...
STORE a_bag_of_data INTO 'my_table' USING org.apache.hive.hcatalog.pig.HCatStorer();

到目前为止一切都很好(数据存储到avro文件中),但我希望使用snappy编解码器对其进行压缩。
我试图补充(除其他外)

SET hive.exec.compress.output true;
SET avro.output.codec snappy;

对Pig的剧本来说,但似乎没什么区别。
如果使用配置单元查询将数据插入表中,则可以在表的基础文件中看到它正在使用snappy压缩。
我有没有办法告诉hcatwriter让hive使用snappy压缩来写入表?
谢谢你的帮助。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题