我正在尝试读取.xz文件压缩使用hadoopxz编解码器使用Pig脚本。
我试过的示例代码是，
REGISTER hadoop-xz-1.4.jar
SET output.compression.enabled true;
SET output.compression.codec io.sensesecure.hadoop.xz.XZCodec;
msg = LOAD 'pigtest/newXZ.xz' USING PigStorage();
STORE msg INTO 'pigtest/output' USING PigStorage();
DUMP msg;结果仍然是压缩格式。是我做错了还是我必须用 XZInputStream 在Pig里面？
运行环境是hortonworks sandbox 2.2（色调）
1条答案
按热度按时间fcipmucu1#
取决于你想做什么。
似乎您想读取一个xz文件，所以我假设您需要设置输入编解码器，而不是输出编解码器。
我不是pig用户，但据我所知，它无法轻松处理自定义压缩（例如，与hive和流媒体不同）。