无法正常启动hadoop datanode

t9eec4r0  于 2021-06-04  发布在  Hadoop
关注(0)|答案(3)|浏览(373)

我正在尝试安装hadoop2.2.0,在启动dataenode服务时遇到以下错误,请帮助我解决此问题。提前谢谢。
2014-03-11 08:48:16406信息org.apache.hadoop.hdfs.server.common.storage:lock on/home/prassanna/usr/local/hadoop/yarn\u data/hdfs/datanode/in\u use.lock由nodename获取3627@prassanna-studio-1558 2014-03-11 08:48:16,426 fatal org.apache.hadoop.hdfs.server.datanode.datanode:块池的初始化失败块池bp-611836968-127.0.1.1-1394507838610(存储id ds-1960076343-127.0.1.1-50010-1394127604582)服务到localhost/127.0.1:9000 java.io.ioexception:不兼容的clusterids in/home/prassanna/usr/local/hadoop/u data/hdfs/datanode:名称节点clusterid=cid-fb61aa70-4b15-470e-a1d0-12653e357a10;datanode clusterid=cid-8bf63244-0510-4db6-a949-8f74b50f2be9位于org.apache.hadoop.hdfs.server.datanode.datastorage.dotransition(datastorage)。java:391)在org.apache.hadoop.hdfs.server.datanode.datastorage.recovertransitionread(datastorage。java:191)在org.apache.hadoop.hdfs.server.datanode.datastorage.recovertransitionread(datastorage。java:219)在org.apache.hadoop.hdfs.server.datanode.datanode.initstorage(datanode。java:837)在org.apache.hadoop.hdfs.server.datanode.datanode.initblockpool(datanode。java:808)在org.apache.hadoop.hdfs.server.datanode.bpofferservice.verifyandsetnamespaceinfo(bpofferservice。java:280)在org.apache.hadoop.hdfs.server.datanode.bpserviceactor.connecttonandhandshake(bpserviceactor)。java:222)在org.apache.hadoop.hdfs.server.datanode.bpserviceactor.run(bpserviceactor。java:664)在java.lang.thread.run(线程。java:662) 2014-03-11 08:48:16,427 warn org.apache.hadoop.hdfs.server.datanode.datanode:终止块池服务:块池bp-611836968-127.0.1.1-1394507838610(存储id ds-1960076343-127.0.1.1-50010-1394127604582)本地主机服务/127.0.0.1:9000 2014-03-11 08:48:16,532 info org.apache.hadoop.hdfs.server.datanode.datanode:删除的块池bp-611836968-127.0.1.1-1394507838610(存储id ds-1960076343-127.0.1.1-50010-1394127604582)2014-03-11 08:48:18532警告org.apache.hadoop.hdfs.server.datanode.datanode:退出datanode 2014-03-11 08:48:18,534 info org.apache.hadoop.util.exitutil:退出,状态为0 2014-03-11 08:48:18536 info org.apache.hadoop.hdfs.server.datanode.datanode:关闭消息:/*********************************关闭消息:关闭位于prassanna-studio-1558/127.0.1.1的datanode

kqlmhetl

kqlmhetl1#

确保您准备好了正确的配置和正确的路径。这是在ubuntu上运行hadoop的链接。
我用这个链接在我的机器上安装了hadoop,它运行得很好。

6bc51xsx

6bc51xsx2#

参考这个,
1.检查java\u主页---

readlink -f $(which java) 
    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

2.如果java不可用,则通过命令安装

sudo apt-get install defalul-jdk

而不是跑1。检查终端

java -version 
    javac -version

3.配置ssh
hadoop需要ssh访问来管理它的节点,也就是说,如果您想在远程机器上使用hadoop,那么就需要ssh访问本地机器(这就是我们在这个简短的教程中要做的)。因此,对于hadoop的单节点设置,我们需要为用户配置对localhost的ssh访问。

sudo apt-get install ssh
    sudo su hadoop
    ssh-keygen -t rsa -P “”
    cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
    ssh localhost

下载并提取hadoop-2.7.3(具有读写权限的chosse目录)
设置环境变量

sudo gedit .bashrc
    source .bashrc

设置配置文件
必须修改以下文件才能完成hadoop安装:

~/.bashrc   (Already done)
(PATH)/etc/hadoop/hadoop-env.sh 
(PATH)/etc/hadoop/core-site.xml 
(PATH)/etc/hadoop/mapred-site.xml.template 
(PATH)/etc/hadoop/hdfs-site.xm

gedit (PATH)/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

gedit (PATH)/etc/hadoop/core-site.xml:

这个 (HOME)/etc/hadoop/core-site.xml 文件包含hadoop启动时使用的配置属性。这个文件可以用来覆盖hadoop启动时的默认设置。

($ sudo mkdir -p /app/hadoop/tmp)

打开文件并在 <configuration></configuration> 标签:

gedit /usr/local/hadoop/etc/hadoop/core-site.xml 
<configuration> 
 <property> 
  <name>hadoop.tmp.dir</name> 
  <value>/app/hadoop/tmp</value> 
  <description>A base for other temporary directories.</description> 
 </property> 

 <property> 
  <name>fs.default.name</name> 
  <value>hdfs://localhost:54310</value> 
  <description>The name of the default file system.  A URI whose 
  scheme and authority determine the FileSystem implementation.  The 
  uri's scheme determines the config property (fs.SCHEME.impl) naming 
  the FileSystem implementation class.  The uri's authority is used to 
  determine the host, port, etc. for a filesystem.</description> 
 </property> 
</configuration>

(PATH)/etc/hadoop/mapred-site.xml

默认情况下 (PATH)/etc/hadoop/ 文件夹包含 (PATH)/etc/hadoop/mapred-site.xml.template 必须用名称重命名/复制的文件 mapred-site.xml :

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

mapred-site.xml文件用于指定mapreduce使用的框架。
我们需要在 <configuration></configuration> 标签:

<configuration> 
     <property> 
      <name>mapred.job.tracker</name> 
      <value>localhost:54311</value> 
      <description>The host and port that the MapReduce job tracker runs 
      at.  If "local", then jobs are run in-process as a single map 
      and reduce task. 
      </description> 
     </property> 
    </configuration>

(PATH)/etc/hadoop/hdfs-site.xml

这个 (PATH)/etc/hadoop/hdfs-site.xml 需要为正在使用的群集中的每个主机配置文件。
它用于指定将用作该主机上的namenode和datanode的目录。
在编辑这个文件之前,我们需要为这个hadoop安装创建两个包含namenode和datanode的目录。可以使用以下命令执行此操作:

sudo mkdir -p /usr/local/hadoop_store/hdfs/namenode 
sudo mkdir -p /usr/local/hadoop_store/hdfs/datanode

打开文件并在 <configuration></configuration> 标签:

gedit (PATH)/etc/hadoop/hdfs-site.xml 

    <configuration> 
     <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
      <description>Default block replication. 
      The actual number of replications can be specified when the file is created. 
      The default is used if replication is not specified in create time. 
      </description> 
     </property> 
     <property> 
       <name>dfs.namenode.name.dir</name> 
       <value>file:/usr/local/hadoop_store/hdfs/namenode</value> 
     </property> 
     <property> 
       <name>dfs.datanode.data.dir</name> 
       <value>file:/usr/local/hadoop_store/hdfs/datanode</value> 
     </property> 
    </configuration>

格式化新的hadoop文件系统
现在,hadoop文件系统需要格式化,以便我们可以开始使用它。format命令应具有写入权限,因为它在下创建当前目录 /usr/local/hadoop_store/ 文件夹:

bin/hadoop namenode -format

bin/hdfs namenode -format

hadoop安装完成
现在启动hdfs

start-dfs.sh
start-yarn.sh

检查url: http://localhost:50070/ 用于停止hdfs

stop-dfs.sh
stop-yarn.sh
wpcxdonn

wpcxdonn3#

这仅仅表明datanode试图启动,但发生了一些异常并死机。
请检查hadoop安装文件夹中logs文件夹下的datanode日志(除非您更改了该配置)以查找异常。它通常指向某种类型的配置问题,特别是与网络设置(/etc/hosts)相关的问题,但是有很多可能性。

相关问题