我在想是否有可能在hdfs上压缩一个目录，然后把它放到本地系统上。有办法吗？任何帮助都将不胜感激。谢谢您。
0lvr5msh1#
设置以下属性后，可以创建配置单元表并执行插入覆盖：
set mapred.output.compress=true; set hive.exec.compress.output=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;
但更好的方法是在创建文件的作业中启用压缩。注意：虽然我将压缩指定为gzip，但最好使用一些可拆分的编解码器，如snapy或lzo。
1条答案
按热度按时间0lvr5msh1#
设置以下属性后，可以创建配置单元表并执行插入覆盖：
但更好的方法是在创建文件的作业中启用压缩。
注意：虽然我将压缩指定为gzip，但最好使用一些可拆分的编解码器，如snapy或lzo。