Secondary Namenode is replaced with StandBy Namenode is Hadoop 2.x.
它的失败并不重要,因为主namenode是可用的 数据节点故障: If your replication factor is more than 1 ,datanode失败不会造成伤害,因为其他datanode中有可用的文件块。 看看我对这个问题的回答: hadoop文件写入 从文档页: 每个datanode定期向namenode发送心跳消息。网络分区可能导致datanode的子集与namenode失去连接。namenode通过缺少心跳消息来检测这种情况。namenode将没有最近心跳的datanodes标记为dead,并且不向它们转发任何新的io请求。任何注册到死数据节点的数据都不再对hdfs可用。 数据节点死亡可能导致某些块的复制因子低于其指定值。namenode不断跟踪哪些块需要复制,并在必要时启动复制。重新复制的必要性可能由于许多原因而产生:数据节点可能变得不可用,副本可能损坏,数据节点上的硬盘可能出现故障,或者文件的复制因子可能增加。
2条答案
按热度按时间zfciruhq1#
namenode失败:
从文档链接,hdfshighavailabilitywithqjm(仲裁日志管理器)是首选。我在回答以下问题时详细解释了这个过程
hadoop namenode故障转移过程是如何工作的?
hadoop namenode:单点故障
辅助名称节点故障:
它的失败并不重要,因为主namenode是可用的
数据节点故障:
If your replication factor is more than 1
,datanode失败不会造成伤害,因为其他datanode中有可用的文件块。看看我对这个问题的回答:
hadoop文件写入
从文档页:
每个datanode定期向namenode发送心跳消息。网络分区可能导致datanode的子集与namenode失去连接。namenode通过缺少心跳消息来检测这种情况。namenode将没有最近心跳的datanodes标记为dead,并且不向它们转发任何新的io请求。任何注册到死数据节点的数据都不再对hdfs可用。
数据节点死亡可能导致某些块的复制因子低于其指定值。namenode不断跟踪哪些块需要复制,并在必要时启动复制。重新复制的必要性可能由于许多原因而产生:数据节点可能变得不可用,副本可能损坏,数据节点上的硬盘可能出现故障,或者文件的复制因子可能增加。
f8rj6qna2#
故障主要有三种类型:namenode故障、datanode故障和网络分区故障。
namenode失败
数据节点
第二节
对于所有失败的案例,试试看
sudo jps
. 您将获得进程id和进程名称。那就做吧sudo kill -9 {process-id}
. 然后尝试在hdfs或pig/hiveshell中读/写数据。