我是hadoop的新手。当我使用qoroum日志管理器设置hadoop namenode ha时,我对需求有点困惑。apache网站上的官方文件说注意:必须至少有3个journalnode守护进程,因为编辑日志修改必须写入大多数jn。这意味着什么?为什么我们需要3个日志节点而不是2个?
cgfeq70w1#
在hadoop1中,每个集群只能有一个namenode,如果这个namenode变得不可用,那么整个集群将变得不可用,从而导致单点故障。为了解决这个问题,显而易见的解决方案是为每个集群添加多个namenode。在haoop2中,每个集群可以有两个namenode。一次只有一个namenode处于活动状态,另一个处于待机模式。为了使系统透明,两个namenode应该同步。为此,他们引入了期刊节点的概念。这个轻量级恶魔的目的是将活动namenode中的每个更改同步到备用namenodes。如果这个日志节点失败了呢。这将再次成为同一问题。日志节点将成为单点故障。为了避免像zookeeper那样引入了仲裁概念。法定人数是什么意思?法定人数:-法定人数的字面意思是“为使会议有效而必须出席的大会/社团成员的最低人数”。在类似的注解中,必须始终有超过半数的日志节点处于健康状态,才能保持一切正常运行。e、 g如果系统中有2个日志节点,则必须保持“超过一半”(即超过1个,即2个日志节点处于正常状态)才能保持所有内容运行。这意味着在这种情况下,不能接受任何日志节点故障。为了避免这种情况,必须有奇数个日志节点(即3、5、7)。但最少3个这样我们就可以承受日志节点的故障。我希望这有帮助
1条答案
按热度按时间cgfeq70w1#
在hadoop1中,每个集群只能有一个namenode,如果这个namenode变得不可用,那么整个集群将变得不可用,从而导致单点故障。
为了解决这个问题,显而易见的解决方案是为每个集群添加多个namenode。
在haoop2中,每个集群可以有两个namenode。一次只有一个namenode处于活动状态,另一个处于待机模式。为了使系统透明,两个namenode应该同步。为此,他们引入了期刊节点的概念。
这个轻量级恶魔的目的是将活动namenode中的每个更改同步到备用namenodes。
如果这个日志节点失败了呢。这将再次成为同一问题。日志节点将成为单点故障。为了避免像zookeeper那样引入了仲裁概念。
法定人数是什么意思?
法定人数:-法定人数的字面意思是“为使会议有效而必须出席的大会/社团成员的最低人数”。
在类似的注解中,必须始终有超过半数的日志节点处于健康状态,才能保持一切正常运行。e、 g如果系统中有2个日志节点,则必须保持“超过一半”(即超过1个,即2个日志节点处于正常状态)才能保持所有内容运行。这意味着在这种情况下,不能接受任何日志节点故障。为了避免这种情况,必须有奇数个日志节点(即3、5、7)。但最少3个这样我们就可以承受日志节点的故障。
我希望这有帮助