hadoop“无法为您的平台加载本机hadoop库”警告

kiayqfof  于 2021-05-31  发布在  Hadoop
关注(0)|答案(21)|浏览(555)

我目前正在运行centos的服务器上配置hadoop。当我跑的时候 start-dfs.sh 或者 stop-dfs.sh ,我得到以下错误:
warn util.nativecodeloader:无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类
我正在运行hadoop2.2.0。
在网上搜索时出现以下链接:http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html
但是 /native/ hadoop2.x上的目录似乎不同,所以我不知道该怎么办。
我还在中添加了这两个环境变量 hadoop-env.sh :
export hadoop\u opts=“$hadoop\u opts-djava.library.path=/usr/local/hadoop/lib/”
导出hadoop\u common\u lib\u native\u dir=“/usr/local/hadoop/lib/native/”
有什么想法吗?

voase2hg

voase2hg1#

这也会起作用:

export LD_LIBRARY_PATH=/usr/lib/hadoop/lib/native
8i9zcol2

8i9zcol22#

只需将本机单词附加到 HADOOP_OPTS 这样地:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"

ps:谢谢searene

e0bqpujr

e0bqpujr3#

这一行就在这里:

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

昆贝特的答案是钱在哪里

ylamdve6

ylamdve64#

我也有同样的问题。通过在 .bashrc :

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
72qzrwbm

72qzrwbm5#

先前发布的已验证补救措施:
1) 检查一下 libhadoop.so.1.0.0 hadoop发行版附带的是针对我的机器体系结构(x86\u 64)编译的:

[nova]:file /opt/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0
/opt/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=3a80422c78d708c9a1666c1a8edd23676ed77dbb, not stripped

2) 添加 -Djava.library.path=<path>HADOOP_OPThadoop-env.sh :

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=/opt/hadoop-2.6.0/lib/native"

这确实使恼人的警告消失了。

qvtsj1bj

qvtsj1bj6#

我猜你在64位centos上运行hadoop。您看到该警告的原因是本机hadoop库 $HADOOP_HOME/lib/native/libhadoop.so.1.0.0 实际上是在32位上编译的。
总之,这只是一个警告,不会影响hadoop的功能。
如果您确实想消除此警告,请下载hadoop的源代码并重新编译 libhadoop.so.1.0.0 在64位系统上,然后替换32位系统。
关于如何为ubuntu重新编译源代码的步骤如下:
http://www.ercoppa.org/linux-compile-hadoop-220-fix-unable-to-load-native-hadoop-library.htm
祝你好运。

4c8rllxm

4c8rllxm7#

答案取决于。。。我刚刚在64位centos 6.6上安装了tarball的hadoop 2.6。hadoop安装确实附带了一个预构建的64位本机库。对于我的安装,这里是:

/opt/hadoop/lib/native/libhadoop.so.1.0.0

我知道它是64位的:

[hadoop@VMWHADTEST01 native]$ ldd libhadoop.so.1.0.0
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
linux-vdso.so.1 =>  (0x00007fff43510000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f9be553a000)
libc.so.6 => /lib64/libc.so.6 (0x00007f9be51a5000)
/lib64/ld-linux-x86-64.so.2 (0x00007f9be5966000)

不幸的是,当我专注于“这个库是32位还是64位?”时,我愚蠢地忽略了眼前的答案:

`GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)

所以,我们吸取了教训。不管怎样,剩下的至少让我能够压制住这个警告。所以我继续做其他答案中推荐的所有事情,使用hadoop\u opts环境变量提供库路径,但没有任何效果。所以我看了源代码。生成错误的模块会告诉您提示(util.nativecodeloader):

15/06/18 18:59:23 WARN util.NativeCodeLoader: Unable to load native-hadoop    library for your platform... using builtin-java classes where applicable

所以,到这里来看看它能做什么:
http://grepcode.com/file/repo1.maven.org/maven2/com.ning/metrics.action/0.2.6/org/apache/hadoop/util/nativecodeloader.java/
啊,有一些调试级别的日志记录-让我们打开它,看看我们是否得到一些额外的帮助。这是通过在$hadoop\u conf\u dir/log4j.properties文件中添加以下行来完成的:

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG

然后我运行了一个生成原始警告的命令,比如stop-dfs.sh,得到了这个好消息:

15/06/18 19:05:19 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: /opt/hadoop/lib/native/libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /opt/hadoop/lib/native/libhadoop.so.1.0.0)

答案就在调试消息的这个片段中(与前面的ldd命令“尝试”告诉我的相同:

`GLIBC_2.14' not found (required by opt/hadoop/lib/native/libhadoop.so.1.0.0)

我有什么版本的glibc?下面是一个简单的技巧:

[hadoop@VMWHADTEST01 hadoop]$ ldd --version
ldd (GNU libc) 2.12

所以,无法将我的操作系统更新到2.14。唯一的解决方案是从我的操作系统上的源代码构建本机库,或者抑制警告并暂时忽略它。我选择了暂时不显示这个恼人的警告(但是计划将来从源代码构建),使用我们用来获取调试消息的相同日志选项,除了现在,只将其设置为错误级别。

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

我希望这能帮助其他人看到,开源软件的一大好处是,如果你采取一些简单的逻辑步骤,你就能弄清楚这些东西。

eit6fx6z

eit6fx6z8#

export JAVA_HOME=/home/hadoop/software/java/jdk1.7.0_80
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_COMMON_LIB_NATIVE_DIR"
pcww981p

pcww981p9#

将编译的本机库文件移到 $HADOOP_HOME/lib 文件夹。
然后通过编辑设置环境变量 .bashrc 文件

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib  
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib"

确保编译的本机库文件在 $HADOOP_HOME/lib 文件夹。
应该有用。

rt4zxlrg

rt4zxlrg10#

我没有用centos。以下是我在ubuntu16.04.2、hadoop-2.7.3、jdk1.8.0\u121中的内容。成功运行start-dfs.sh或stop-dfs.sh,无错误:


# JAVA env

# 

export JAVA_HOME=/j01/sys/jdk
export JRE_HOME=/j01/sys/jdk/jre

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${PATH}:.

# HADOOP env

# 

export HADOOP_HOME=/j01/srv/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

用您的安装路径替换/j01/sys/jdk、/j01/srv/hadoop
我在ubuntu上也做了一次以下设置,这样就不需要在运行start-dfs.sh时多次输入密码:

sudo apt install openssh-server openssh-client
ssh-keygen -t rsa
ssh-copy-id user@localhost

用用户名替换用户

1cosmwyk

1cosmwyk11#

在我的例子中,在我的64位linux mint操作系统上构建hadoop之后,我替换了中的本机库 hadoop/lib . 问题仍然存在。然后我发现hadoop指向 hadoop/lib 不是为了 hadoop/lib/native . 所以我把所有内容从本机库移到其父库。警告也不见了。

ztyzrc3y

ztyzrc3y12#

我和jdk6有同样的问题,我把jdk改成了jdk8,问题解决了。尝试使用jdk8!!!

krcsximq

krcsximq13#

基本上,这不是一个错误,而是hadoop集群中的一个警告。这里我们只更新环境变量。

export HADOOP_OPTS = "$HADOOP_OPTS"-Djava.library.path = /usr/local/hadoop/lib
export HADOOP_COMMON_LIB_NATIVE_DIR = "/usr/local/hadoop/lib/native"
gev0vcfq

gev0vcfq14#

首先,你可以修改glibc版本,centos提供传统的安全软件,这也意味着glibc、protobuf、protobuf等旧版本。。。

ldd --version
ldd /opt/hadoop/lib/native/libhadoop.so.1.0.0

您可以将当前glibc的版本与需要的glibc进行比较。
第二:如果当前glibc的版本是旧的,您可以更新glibc。下载glibc
如果当前glibc id的版本正确,您可以将word native附加到hadoop选项中

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
nafvub8i

nafvub8i15#

经过科蒂建议的持续研究,这个问题得到了解决。

hduser@ubuntu:~$ cd /usr/local/hadoop

hduser@ubuntu:/usr/local/hadoop$ ls

bin  include  libexec      logs        README.txt  share
etc  lib      LICENSE.txt  NOTICE.txt  sbin

hduser@ubuntu:/usr/local/hadoop$ cd lib

hduser@ubuntu:/usr/local/hadoop/lib$ ls
native

hduser@ubuntu:/usr/local/hadoop/lib$ cd native/

hduser@ubuntu:/usr/local/hadoop/lib/native$ ls

libhadoop.a       libhadoop.so        libhadooputils.a  libhdfs.so
libhadooppipes.a  libhadoop.so.1.0.0  libhdfs.a         libhdfs.so.0.0.0

hduser@ubuntu:/usr/local/hadoop/lib/native$ sudo mv * ../

干杯

相关问题