我通读了Kafka0.8.0的全部文档，但找不到这个问题的答案。如果有人有过Kafka的使用经验，假设你的硬件还没有达到故障点，Kafka能保存的最大数据量是多少。我们正计划将我们的有效载荷储存在Kafka，以备灾难恢复之用。
ruarlubt1#
Kafka本身没有限制。当数据从生产商处传入时，它将以文件段的形式写入磁盘，这些段根据配置根据时间（log.roll.hours）或大小（log.segment.bytes）进行轮换。根据保留配置（log.cleanup.policy、log.retention.minutes、log.retention.bytes）删除较旧的段，这些配置可以关闭。但是请注意，代理将保持每个段文件处于打开状态，因此请确保相应地设置了文件描述符限制。代理配置文档：http://kafka.apache.org/documentation.html#brokerconfigs
1条答案
按热度按时间ruarlubt1#
Kafka本身没有限制。当数据从生产商处传入时，它将以文件段的形式写入磁盘，这些段根据配置根据时间（log.roll.hours）或大小（log.segment.bytes）进行轮换。
根据保留配置（log.cleanup.policy、log.retention.minutes、log.retention.bytes）删除较旧的段，这些配置可以关闭。
但是请注意，代理将保持每个段文件处于打开状态，因此请确保相应地设置了文件描述符限制。
代理配置文档：http://kafka.apache.org/documentation.html#brokerconfigs