hadoop 如果在写入过程中DataNode上发生错误,该怎么办?

vwkv1x7d  于 2022-11-01  发布在  Hadoop
关注(0)|答案(1)|浏览(318)

HDFS写入过程。如果在写入过程中DataNode上发生错误,该怎么办?

pkbketx9

pkbketx91#

这取决于HDFS的配置。默认情况下,它的复制因子为3,这意味着必须始终有三个数据副本。如果写入其中一个DataNode失败,则数据将处于复制不足状态。
在问题解决之前,日志文件中会出现有关此问题的警告。由于HDFS会自动尝试从其他两个DataNode(成功写入数据的DataNode)中的一个复制到另一个DataNode,因此如果您有其他可用的DataNode或替换出现故障的DataNode,该问题应该会自动解决。

相关问题