我们知道用于大数据处理的服务器应该能够容忍硬件故障。我的意思是,如果我们有3个服务器(a,b,c),突然b服务器坏了,a和c可以替换它。但是在hadoop中,我们知道hadoop使用namenode和datanode,当namenode关闭时,我们就不能再处理数据了,这听起来对硬件故障缺乏容忍度。hadoop的这种设计架构有什么原因吗?
h5qlskok1#
您提到的问题称为单点故障,它存在于较旧的hadoop版本中。尝试更新版本的hadoop,比如 2.x.x . 版本2.0.0中的hadoop通过分配两个namenode(即 active 以及 standby 名称节点。当活动namenode由于硬件或电源问题而失败时,备用namenode将充当活动namenode。查看以下链接:hadoop高可用性以了解更多详细信息。
2.x.x
active
standby
1条答案
按热度按时间h5qlskok1#
您提到的问题称为单点故障,它存在于较旧的hadoop版本中。
尝试更新版本的hadoop,比如
2.x.x
. 版本2.0.0中的hadoop通过分配两个namenode(即active
以及standby
名称节点。当活动namenode由于硬件或电源问题而失败时,备用namenode将充当活动namenode。查看以下链接:hadoop高可用性以了解更多详细信息。