我用mapreduce运行wordcount，但发生了一个错误。本机snappy库不可用：尚未加载snappycompressor。我想那个时髦的图书馆还没装进去。但是，当我检查本机库时，snappy库是正常的，我不知道如何解决它。
2w3rbyxf1#
这取决于hadoop发行版安装的操作系统。对于某些操作系统，如ubuntu、rhel等，hadoop通常会附带预构建snappy压缩。https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/nativelibraries.html#native_hadoop_library如果您使用的是其他操作系统，则需要为该操作系统安装/构建snappy，并通过更改配置将其集成到hadoop集群中。要在CentOS上启用snappy，您可以按照下面的urlhttp://www.ericlin.me/enabling-snappy%ef%bc%8dcompression-in-hadoop-2-4-under-centos-6-3
1条答案
按热度按时间2w3rbyxf1#
这取决于hadoop发行版安装的操作系统。对于某些操作系统，如ubuntu、rhel等，hadoop通常会附带预构建snappy压缩。
https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/nativelibraries.html#native_hadoop_library
如果您使用的是其他操作系统，则需要为该操作系统安装/构建snappy，并通过更改配置将其集成到hadoop集群中。要在CentOS上启用snappy，您可以按照下面的url
http://www.ericlin.me/enabling-snappy%ef%bc%8dcompression-in-hadoop-2-4-under-centos-6-3