当kafka代理在多节点kafka集群中失败时，是否有任何工具或操作可用于缓解数据丢失问题。
gudnpqoy1#
复制是kafka的一个重要特性，也是避免数据丢失的关键因素。特别是，如果您的一个代理失败，其他代理上的副本将被消费者使用，就像什么都没发生一样（从业务方面）。当然，这会对连接、带宽等产生影响。但是，必须正确生成消息才能进行复制。所以基本上，如果您的复制设置高于1，只要您的生产者不下降，这应该是安全的。这个 default.replication.factor 为1，因此将复制（在主题或常规级别）设置为2或3。当然你需要2到3个经纪人。http://kafka.apache.org/documentation.html#basic_ops_increase_replication_factor
default.replication.factor
1条答案
按热度按时间gudnpqoy1#
复制是kafka的一个重要特性，也是避免数据丢失的关键因素。特别是，如果您的一个代理失败，其他代理上的副本将被消费者使用，就像什么都没发生一样（从业务方面）。当然，这会对连接、带宽等产生影响。
但是，必须正确生成消息才能进行复制。
所以基本上，如果您的复制设置高于1，只要您的生产者不下降，这应该是安全的。
这个
default.replication.factor为1，因此将复制（在主题或常规级别）设置为2或3。当然你需要2到3个经纪人。http://kafka.apache.org/documentation.html#basic_ops_increase_replication_factor