我最近能够用原生64位支持构建ApacheHadoop2.5.1。所以,我摆脱了恼人的本Map书馆警告。
我正在尝试配置apachespark。启动spark shell时,会出现相同的警告:
14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
一些提示:
我不得不下载一个预构建的2.4版本的spark,因为hadoop2.5和maven还没有配置文件。
spark-env.sh中添加了以下导出:
export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop
export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native
不适用于spark shell和spark submit。我的hadoop本地安装配置为伪分布式(resourcemanager+yarn支持)。
1条答案
按热度按时间lo8azlld1#
你应该加上
HADOOP_HOME/lib/native
到LD_LIBRARY_PATH
: