apachespark本机库

o7jaxewo  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(491)

我最近能够用原生64位支持构建ApacheHadoop2.5.1。所以,我摆脱了恼人的本Map书馆警告。
我正在尝试配置apachespark。启动spark shell时,会出现相同的警告:

14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

一些提示:
我不得不下载一个预构建的2.4版本的spark,因为hadoop2.5和maven还没有配置文件。
spark-env.sh中添加了以下导出:

export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop

export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native

不适用于spark shell和spark submit。我的hadoop本地安装配置为伪分布式(resourcemanager+yarn支持)。

lo8azlld

lo8azlld1#

你应该加上 HADOOP_HOME/lib/nativeLD_LIBRARY_PATH :

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

相关问题