在进行基本配置时,我遇到dfs.namenode.replication.min=1,这是什么意思?http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
hlswsv351#
dfs.namenode.replication.min 是最小块复制的设置(源代码:hadoop2.9文档),与 dfs.replication.max 以及 dfs.replication (最大和分别为。默认块复制)。最小块复制定义要成功写入,必须写入的最小副本数(摘自:hadoop:权威指南:互联网规模的存储和分析)所以在写文件的时候,如果 dfs.namenode.replication.min = 1 一旦文件中的每个块存在一个副本,就发送肯定确认信号。之后,系统将继续复制,直到默认的块复制 dfs.replication 到达。上述三种复制设置与 namenode 但他们关心的是文件复制。这个 namenode 是一种特殊的服务器,它有自己的机制来保证可用性,例如通过维护文件系统元数据的多个副本(请参阅hadoop文档中有关hdfs体系结构的元数据磁盘故障)。尽管采取了这些措施 namenode 可能是单点故障(spof)。这就是为什么从版本2.0.0开始,hadoop支持hdfs高可用性(hdfs ha),它依赖于 namenode 并行运行。hdfs高可用性特性通过提供在具有热备用的主/被动配置中运行同一集群中的两个冗余namenodes的选项来解决上述问题。(来自:使用仲裁日志管理器的hdfs高可用性)
dfs.namenode.replication.min
dfs.replication.max
dfs.replication
dfs.namenode.replication.min = 1
namenode
vmpqdwk32#
你的namenode,取决于它在做什么,可以处于几种状态之一。例如,当它启动时,它处于安全模式。当namenode处于安全模式时,它会使用dfs.namenode.replication.min覆盖dfs.namenode.replication设置。一旦datanodes报告了所有的块,namenode将离开所述状态并返回到使用原始设置。
2条答案
按热度按时间hlswsv351#
dfs.namenode.replication.min
是最小块复制的设置(源代码:hadoop2.9文档),与dfs.replication.max
以及dfs.replication
(最大和分别为。默认块复制)。最小块复制定义要成功写入,必须写入的最小副本数
(摘自:hadoop:权威指南:互联网规模的存储和分析)
所以在写文件的时候,如果
dfs.namenode.replication.min = 1
一旦文件中的每个块存在一个副本,就发送肯定确认信号。之后,系统将继续复制,直到默认的块复制dfs.replication
到达。上述三种复制设置与
namenode
但他们关心的是文件复制。这个
namenode
是一种特殊的服务器,它有自己的机制来保证可用性,例如通过维护文件系统元数据的多个副本(请参阅hadoop文档中有关hdfs体系结构的元数据磁盘故障)。尽管采取了这些措施
namenode
可能是单点故障(spof)。这就是为什么从版本2.0.0开始,hadoop支持hdfs高可用性(hdfs ha),它依赖于namenode
并行运行。hdfs高可用性特性通过提供在具有热备用的主/被动配置中运行同一集群中的两个冗余namenodes的选项来解决上述问题。
(来自:使用仲裁日志管理器的hdfs高可用性)
vmpqdwk32#
你的namenode,取决于它在做什么,可以处于几种状态之一。例如,当它启动时,它处于安全模式。
当namenode处于安全模式时,它会使用dfs.namenode.replication.min覆盖dfs.namenode.replication设置。
一旦datanodes报告了所有的块,namenode将离开所述状态并返回到使用原始设置。