为什么hadoop secondary namenode每一小时备份一次?

qyzbxkaa  于 2021-05-30  发布在  Hadoop
关注(0)|答案(3)|浏览(345)

每个人都知道name node可以存储元数据,而且每一秒钟发生的事情都存储在日志文件中。要识别错误日志文件,只有关键因素。现在,请注意,默认情况下,辅助namenode可以定期从namenode获取元数据备份。“名称空间图像,编辑日志文件”将备份过去一小时(可配置)。
为什么secondary namenode要花一个小时为什么它不是每秒钟都要备份一次?已经在日志文件中存储了每一秒的分数。为什么hadoop每几秒钟就备份一次日志文件?如果这样配置有什么缺点吗?请让我深入了解。

bkhjykvo

bkhjykvo1#

secondary namenode(snn)是众多减少nn负载并在一定程度上提供h.a.的尝试中的第一个。从那时起,snn得到了升级,如check point node、backup node。
snn:定期复制和合并fsimage和edits.log,以加快nn启动时间。
check point节点:复制并合并fsimage&edits.log。然后它将这个更新的版本发送到nn以替换旧的fsimage。
备份节点:但是它在运行时毫不延迟地维护所有更改的备份。为了实现这一点,所有流都与nn和备份节点共享,合并它们,并定期将其发送到nn以更新nn的fsimage文件。因此提供了您所要求的功能。
而对于每秒从nn复制更新的缺点,它将在负载繁重的集群中对网络流量造成瓶颈。
请通过以下链接阅读更多内容:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfsuserguide.html#secondary_namenode

gywdnpxw

gywdnpxw2#

辅助namenode仅备份namenode
如果namenode失败,整个集群将失败
此时,我们可以启动辅助namenode作为namenode
我们可以指定辅助namenode的备份时间
它可根据事务数和秒数进行配置。请参阅辅助名称节点

tcomlyy6

tcomlyy63#

尽管检查点可以根据大小或时间进行配置,但不建议将其配置为太频繁或太小的大小。as checkpointing活动在集群中执行网络活动(通过http传输fsimage和editlogs)。它还消耗辅助nn上的cpu。
因此,考虑到集群活动(fsimage中的变化),应该将检查点配置为最佳。

相关问题