如何指定在hadoop中使用哪个压缩

myzjeezk 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(361)

hadoop支持多种压缩编解码器（例如gzip、lz4、snappy等）。在哪一个hadoop配置文件中，您指定哪一个确切地用于作业？

hadoop mapreduce hadoop2

来源：https://stackoverflow.com/questions/38521210/how-to-specify-which-compression-to-use-in-hadoop

1条答案

按热度按时间

7fhtutme1#

它可以在core-site.xml文件中指定。例子：

<property>
  <name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

并在mapred-site.xml中指定：

<property>
  <name>mapred.compress.map.output</name>
  <value>true</value>
</property>
<property>
   <name>mapred.map.output.compression.codec</name>
   <value>org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>mapred.output.compression.type</name>
<value>BLOCK</value>
</property>

赞(0）回复(0）举报 2021-05-30

我来回答

如何指定在hadoop中使用哪个压缩

1条答案

相关问题

热门标签

最新问答