如何在datanode中选择块放置策略?

mw3dktmi  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(394)

如果在hadoop集群中块复制是3,并且每个datanode都有3${dfs.data.dir}目录。当datanode被选为存储块时,该块存储在所有3个目录中还是其中一个目录中?
如果答案是后者,如何选择${dfs.data.dir}目录?

pkbketx9

pkbketx91#

当块到达datanode时,以循环方式选择正确的目录。您可以通过将dfs.datanode.fsdataset.volume.choosing.policy更改为org.apache.hadoop.hdfs.server.datanode.fsdataset.availablespacevolumeconosingpolicy来更改此行为,然后根据目录中可用的空间选择正确的目录(请参阅此处的配置:https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)

相关问题