是否可以在hadoop中复制namenode?

relj7zay  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(289)

在进行基本配置时,我遇到dfs.namenode.replication.min=1,这是什么意思?
http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

hlswsv35

hlswsv351#

dfs.namenode.replication.min 是最小块复制的设置(源代码:hadoop2.9文档),与 dfs.replication.max 以及 dfs.replication (最大和分别为。默认块复制)。最小块复制定义
要成功写入,必须写入的最小副本数
(摘自:hadoop:权威指南:互联网规模的存储和分析)
所以在写文件的时候,如果 dfs.namenode.replication.min = 1 一旦文件中的每个块存在一个副本,就发送肯定确认信号。之后,系统将继续复制,直到默认的块复制 dfs.replication 到达。
上述三种复制设置与 namenode 但他们关心的是文件复制。
这个 namenode 是一种特殊的服务器,它有自己的机制来保证可用性,例如通过维护文件系统元数据的多个副本(请参阅hadoop文档中有关hdfs体系结构的元数据磁盘故障)。
尽管采取了这些措施 namenode 可能是单点故障(spof)。这就是为什么从版本2.0.0开始,hadoop支持hdfs高可用性(hdfs ha),它依赖于 namenode 并行运行。
hdfs高可用性特性通过提供在具有热备用的主/被动配置中运行同一集群中的两个冗余namenodes的选项来解决上述问题。
(来自:使用仲裁日志管理器的hdfs高可用性)

vmpqdwk3

vmpqdwk32#

你的namenode,取决于它在做什么,可以处于几种状态之一。例如,当它启动时,它处于安全模式。
当namenode处于安全模式时,它会使用dfs.namenode.replication.min覆盖dfs.namenode.replication设置。
一旦datanodes报告了所有的块,namenode将离开所述状态并返回到使用原始设置。

相关问题