HDFS写入过程。如果在写入过程中DataNode上发生错误,该怎么办?
pkbketx91#
这取决于HDFS的配置。默认情况下,它的复制因子为3,这意味着必须始终有三个数据副本。如果写入其中一个DataNode失败,则数据将处于复制不足状态。在问题解决之前,日志文件中会出现有关此问题的警告。由于HDFS会自动尝试从其他两个DataNode(成功写入数据的DataNode)中的一个复制到另一个DataNode,因此如果您有其他可用的DataNode或替换出现故障的DataNode,该问题应该会自动解决。
1条答案
按热度按时间pkbketx91#
这取决于HDFS的配置。默认情况下,它的复制因子为3,这意味着必须始终有三个数据副本。如果写入其中一个DataNode失败,则数据将处于复制不足状态。
在问题解决之前,日志文件中会出现有关此问题的警告。由于HDFS会自动尝试从其他两个DataNode(成功写入数据的DataNode)中的一个复制到另一个DataNode,因此如果您有其他可用的DataNode或替换出现故障的DataNode,该问题应该会自动解决。