我正在尝试部署hadoop2.5.0的独立版本。但是datanode无法启动。日志打印:
2014-10-20 13:42:13,288 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Ljava/lang/String;Ljava/lang/String;I)Ljava/io/FileDescriptor;
at org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Native Method)
at org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.create(SharedFileDescriptorFactory.java:87)
at org.apache.hadoop.hdfs.server.datanode.ShortCircuitRegistry.<init>(ShortCircuitRegistry.java:165)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:586)
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:773)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:292)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1895)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1782)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1829)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2005)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2029)
我在谷歌上搜索了一会儿,找不到任何有用的帮助。然后我尝试在我的计算机(x86-64 centos 6.5)中编译hadoop-2.5.0,因为这个错误与本机lib有关,所以我得到了相同的错误。我也试过cdh版,还是不行。
我的hdfs-site.xml:
<property>
<name>fs.checkpoint.dir</name>
<value>/home/seg3/namesecondary</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/seg2/datanodedir</value>
</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
<property>
<name>dfs.block.local-path-access.user</name>
<value>root</value>
</property>
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/run/hadoop-hdfs/dn._PORT</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout</name>
<value>10000</value>
</property>
和core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>10080</value>
</property>
<property>
<name>io.native.lib.available</name>
<value>false</value>
</property>
有什么想法吗?顺便说一句,hadoop2.3.0在我的机器上运行得非常好。
2条答案
按热度按时间jq6vz3qz1#
在尝试在一堆服务器上部署相同的包之后,我发现了问题。不知何故,hadoop2.3.0的本机lib进入了jdk的本机路径,这反过来又污染了java运行时。当datanode尝试加载本机lib时,它会找到旧的lib。删除那些.so文件后,我启动了datanode并开始运行。干杯。
0g0grzrc2#
完成阿莫斯所说的,需要定义: