在hadoop中,欠复制和过度复制是什么意思?它是如何工作的?

bprjcwpo  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(399)

在map-reduce概念下复制和over-replica使用。如何平衡过复制和欠复制。

ovfsdjhp

ovfsdjhp1#

我想您应该知道,默认情况下,复制因子是3。
过度复制块是超出其所属文件的目标复制的块。通常,过度复制不是问题,hdfs会自动删除多余的副本。这就是它在这种情况下的平衡。
“已复制”下的块是不符合其所属文件的目标复制的块。
为了平衡这些HDF,它们将自动为复制不足的块创建新的副本,直到它们满足目标复制。
可以使用获取有关正在复制(或等待复制)的块的信息

hdfs    dfsadmin    -metasave. 

if you execute below command, you will get the detailed stats.

hdfs    fsck    / 
......................

Status: HEALTHY 
Total   size:   511799225   B   
Total   dirs:   10  Total   files:  22  
Total   blocks  (validated):    22  (avg.   block   size    23263601    B)  
Minimally   replicated  blocks: 22  (100.0  %)  
Over-replicated blocks: 0   (0.0    %)  
Under-replicated    blocks: 0   (0.0    %)  
Mis-replicated  blocks:     0   (0.0    %)  
Default replication factor: 3   
Average block   replication:    3.0 
Corrupt blocks:     0   
Missing replicas:       0   (0.0    %)  
Number  of  data-nodes:     4   
Number  of  racks:      1

The filesystem  under   path    '/' is  HEALTHY

相关问题