为什么cloudera5.12vm中的默认复制因子是1,而在以前的版本中是3?

ymdaylpp  于 2021-05-27  发布在  Hadoop
关注(0)|答案(2)|浏览(365)

如果默认复制因子从3更改为1,那么我们是否没有失去hdfs的可靠性?如果由于某种原因导致块崩溃或删除,hadoop工程师如何检索该块的唯一副本?

avwztpqn

avwztpqn1#

关于你的问题
为什么cloudera5.12vm中的默认复制因子是1,而在以前的版本中是3?
我查看了有关datanodes的文档,发现
hdfs的默认复制因子是3。也就是说,始终保留三份数据副本。
因此,对于一般的cloudera软件发行版来说似乎不是这样,但是对于cloudera快速启动vm5.12来说可能是这样。
如果默认复制因子从3更改为1,那么我们是否没有失去hdfs的可靠性?
你的回答是对的。
如果由于某种原因导致块崩溃或删除,hadoop工程师如何检索该块的唯一副本?
而且这是不可能的。
正如斯蒂芬·奥德内尔已经提到的
它在虚拟机中可能是1,因为它只有一个数据节点进程。
在单个虚拟(演示?)环境中,可能不需要或不需要多个节点的资源、高可用性等。
如果在vm上设置为3,那么您创建的任何文件都将处于复制状态,hdfs将无法修复它们。
对于单个vm中的单节点集群来说,这可以节省资源。

b4lqfgs4

b4lqfgs42#

它在虚拟机中可能是1,因为它只有一个datanode进程。如果在vm上设置为3,那么您创建的任何文件都将处于复制状态,hdfs将无法修复它们。
在具有许多数据节点的实际集群上,默认值应为3。

相关问题