hdfs中有哪些类型的失败?

cfh9epnr  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(648)

hdfs中有哪些类型的故障?当namenode、secondary namenode和datanode销毁时,会发生什么?

zfciruhq

zfciruhq1#

namenode失败:

Namenode is no more a single point of failure since the launch of Hadoop 2.x version.

从文档链接,hdfshighavailabilitywithqjm(仲裁日志管理器)是首选。我在回答以下问题时详细解释了这个过程
hadoop namenode故障转移过程是如何工作的?
hadoop namenode:单点故障
辅助名称节点故障:

Secondary Namenode is replaced with StandBy Namenode is Hadoop 2.x.

它的失败并不重要,因为主namenode是可用的
数据节点故障: If your replication factor is more than 1 ,datanode失败不会造成伤害,因为其他datanode中有可用的文件块。
看看我对这个问题的回答:
hadoop文件写入
从文档页:
每个datanode定期向namenode发送心跳消息。网络分区可能导致datanode的子集与namenode失去连接。namenode通过缺少心跳消息来检测这种情况。namenode将没有最近心跳的datanodes标记为dead,并且不向它们转发任何新的io请求。任何注册到死数据节点的数据都不再对hdfs可用。
数据节点死亡可能导致某些块的复制因子低于其指定值。namenode不断跟踪哪些块需要复制,并在必要时启动复制。重新复制的必要性可能由于许多原因而产生:数据节点可能变得不可用,副本可能损坏,数据节点上的硬盘可能出现故障,或者文件的复制因子可能增加。

f8rj6qna

f8rj6qna2#

故障主要有三种类型:namenode故障、datanode故障和网络分区故障。
namenode失败
数据节点
第二节
对于所有失败的案例,试试看 sudo jps . 您将获得进程id和进程名称。那就做吧 sudo kill -9 {process-id} . 然后尝试在hdfs或pig/hiveshell中读/写数据。

相关问题