我正在运行一个带有mrv2的多节点hadoop2.0.2集群。我的问题是，这个特定页面和fsck命令仅显示3个活动节点：尽管此页显示了活动节点的实际数量另一个问题是有时某些数据节点会自动关闭。我如何知道pblm以及为什么同一个集群显示两个不同的活动节点？
bqucvtff1#
在yarn-site.xml中添加一些配置，让nodemanager知道资源管理器在哪里。具体来说，我将此属性添加到yarn-site.xml中： <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> 原因：yarn-default.xml中的默认值是0.0.0.0，许多属性使用此主机名与资源管理器联系，例如 <property> <name>yarn.resourcemanager.address</name> <value>${yarn.resourcemanager.hostname}:8032</value> </property>
<property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property>
<property> <name>yarn.resourcemanager.address</name> <value>${yarn.resourcemanager.hostname}:8032</value> </property>
jhiyze9q2#
关于您正在使用的web界面 http://localhost:50070/dfshealth.jsp 用于namenode webui和 http://localhost:8088/cluster 用于resourcemanager webui。
http://localhost:50070/dfshealth.jsp
http://localhost:8088/cluster
Although this page shows actual no. of live nodes
实际上它不显示活动节点。如果你看到 Last Health Updates 对于每个节点，您会发现其中三个节点slave-1、2和3的最后更新时间为2013年3月16日，其余节点的最后更新时间为2013年3月15日。这与您在50070的namenode接口上看到的情况相符。现在只有3个是活动的。
Last Health Updates
Another problem is some times some datanodes are getting shutdown automatically.
您的四个节点在2013年3月15日01:00:00左右发生故障（上次更新）。所以我会调查你的datanode日志文件为什么会关闭。你可以在里面找到他们 $HADOOP_HOME/logs/ 或者 /var/log/hadoop* ，如果尚未设置 HADOOP_LOG_DIR 环境变量
$HADOOP_HOME/logs/
/var/log/hadoop*
HADOOP_LOG_DIR
2条答案
按热度按时间bqucvtff1#
在yarn-site.xml中添加一些配置，让nodemanager知道资源管理器在哪里。具体来说，我将此属性添加到yarn-site.xml中：
<property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property>原因：yarn-default.xml中的默认值是0.0.0.0，许多属性使用此主机名与资源管理器联系，例如<property> <name>yarn.resourcemanager.address</name> <value>${yarn.resourcemanager.hostname}:8032</value> </property>jhiyze9q2#
关于您正在使用的web界面
http://localhost:50070/dfshealth.jsp用于namenode webui和http://localhost:8088/cluster用于resourcemanager webui。实际上它不显示活动节点。如果你看到
Last Health Updates对于每个节点，您会发现其中三个节点slave-1、2和3的最后更新时间为2013年3月16日，其余节点的最后更新时间为2013年3月15日。这与您在50070的namenode接口上看到的情况相符。现在只有3个是活动的。您的四个节点在2013年3月15日01:00:00左右发生故障（上次更新）。所以我会调查你的datanode日志文件为什么会关闭。你可以在里面找到他们
$HADOOP_HOME/logs/或者/var/log/hadoop*，如果尚未设置HADOOP_LOG_DIR环境变量