目前我使用redis->s3->elasticsearch->kibana堆栈来管道化和可视化我的日志。但由于ElasticSearch中的大量数据，我可以保留日志长达7天。
我想把kafka集群放在这个堆栈中，并将日志保留更多天。我在考虑跟着这堆。
app nodes管道日志到kafka->kafka集群->elastics search集群->kibana
如何使用kafka将日志保留更多天？
目前我使用redis->s3->elasticsearch->kibana堆栈来管道化和可视化我的日志。但由于ElasticSearch中的大量数据，我可以保留日志长达7天。
我想把kafka集群放在这个堆栈中，并将日志保留更多天。我在考虑跟着这堆。
app nodes管道日志到kafka->kafka集群->elastics search集群->kibana
如何使用kafka将日志保留更多天？
1条答案
按热度按时间zysjyyx41#
查看apachekafka代理配置，有两个属性决定何时删除日志。一个是时间，另一个是空间。
另请注意，如果同时设置了log.retention.hours和log.retention.bytes，则当超过任一限制时，我们将删除一个段。
这两个命令在kafka中何时删除日志。log.retention.bytes默认为-1，我很确定将其保留为-1只允许time config单独确定日志何时被删除。
因此，要直接回答您的问题，请将log.retention.hours设置为您希望保留数据的小时数，并且不更改log.retention.bytes配置。