当hdfs不可用时，是否有方法确保数据安全？场景是：kafka源、flume内存通道、hdfs接收器。如果flume服务关闭了，它是否可以存储topic分区的偏移量，并在恢复后从正确的位置进行消费？
fcg9iug31#
通常（使用默认配置），kafka为所有使用者存储主题偏移量。如果使用相同的组id（消费者属性之一）启动flume源，kafka将从源的偏移量开始发送消息。但是已经从kafka读取并存储在内存通道中的消息将由于hdfs接收器故障而丢失。
1条答案
按热度按时间fcg9iug31#
通常（使用默认配置），kafka为所有使用者存储主题偏移量。如果使用相同的组id（消费者属性之一）启动flume源，kafka将从源的偏移量开始发送消息。但是已经从kafka读取并存储在内存通道中的消息将由于hdfs接收器故障而丢失。