snappy是否与hadoop集成,或者需要与hadoop 1.2.1单独安装。我在mapred-site.xml文件中添加了以下属性以压缩Map文件。
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
它给出了一个未加载snappy\u库的错误。我想我必须在使用编解码器之前安装它。请帮助。
1条答案
按热度按时间5n0oy7gb1#
按照cloudera的说法,如果您通过tarball安装hadoop,那么我们必须单独安装它,看看这个。