hadoop 3.2.1多节点群集nodemanager未运行

mw3dktmi  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(255)

我在ubuntu16.04lts上安装了hadoop3.2.1,我的集群有18个datanode和1个master。运行后:

$ start-dfs.sh
$ start-yarn.sh
$ jps

在master上,我得到以下信息:

ResourceManager
NameNode
SecondaryNameNodecode
jps

在数据节点上:

DataNode
jps

所有节点似乎都是活动的:namenode概述网页
但是当我进入集群概述时,我的数据节点似乎都没有处于活动状态:集群概述
我的配置文件:
core-site.xml文件

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-3.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>

hdfs-site.xml文件

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop-3.2.1/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop-3.2.1/data/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

namenode和datanode目录存在于每个主机上(master和datanodes)
mapred-site.xml文件

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml文件

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services </name>
<value> mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
</configuration>

另外,我还为javau home path配置了hadoop-env.sh,所有其他变量都在.bashrc文件中(也在每个主机中)。
我修改了/etc/hosts文件,以包含所有主机及其IP和主机名,最后还修改了workers文件,以包含datanodes的所有IP。
我第一次格式化namenode时,hdfs-site.xml的目录是错误的(我有两次datanode目录),所以hdfs在/tmp/hdfs/(如果我没记错的话)下创建自己的目录。但是我用corect目录再次格式化namenode来解决这个问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题