我将hadoop-2.4.0集群配置为压缩Map输出，mapred-site.xml的设置如下
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>当我运行invertedindex时，压缩工作正常，我可以在“reduce shuffle bytes”中看到不同的计数器。
然而，当我运行sort时，有压缩和无压缩的“减少无序字节”没有区别。这意味着压缩不起作用。
太奇怪了。我被卡住了。你知道我做错了什么吗？
1条答案
按热度按时间fafcakar1#
我认为，如果其中一个程序在驱动程序类（main方法）中显式设置了以下属性：
conf.setCompressMapOutput(false);，则此设置将覆盖mapred-site.xml设置。