我正在将日志消息写入Kafka主题,我希望此主题的保留是永久的。我在kafka和kafka connect(\ schemas、connect configs、connect status、connect offset等)中看到,日志保留时间不会删除一些特殊的主题。我如何使一个主题与其他特殊主题一样?是命名约定还是其他属性?谢谢
kjthegm61#
如果要永久保留所有主题,可以同时设置这两个主题 log.retention.hours 以及 log.retention.bytes 到-1。
log.retention.hours
log.retention.bytes
ijnw1ujt2#
您可以在此处找到参数的默认值:https://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-properties.html log.retention.bytes 以及 log.retention.ms 如果要将数据永久保留在主题中,可以将其设置为-1。
log.retention.ms
hs1ihplo3#
这些专题是压缩专题。这意味着它们由键控消息组成,并且只保留列表最近键。这里写满了。在大多数情况下,这可能就是您想要的无限保留时间。
3条答案
按热度按时间kjthegm61#
如果要永久保留所有主题,可以同时设置这两个主题
log.retention.hours
以及log.retention.bytes
到-1。ijnw1ujt2#
您可以在此处找到参数的默认值:https://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-properties.html
log.retention.bytes
以及log.retention.ms
如果要将数据永久保留在主题中,可以将其设置为-1。hs1ihplo3#
这些专题是压缩专题。这意味着它们由键控消息组成,并且只保留列表最近键。这里写满了。在大多数情况下,这可能就是您想要的无限保留时间。