分布式kafka连接主题配置

zf9nrax1  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(335)

我遇到的问题是,在节点重新启动后,我的kafka connect worker配置丢失(http://broker:端口/连接器/->空阵列)
现在我认为它可能与“retention.ms”配置有关。因为连接配置也存储在“config.storage.topic”中,并且将在“retention.ms”之后删除?所以我必须设置一个非常高的“retention.ms”。这是正确的还是Kafka自动管理的(以防您自己创建主题)
其他两个主题如何:status.storage.topic-只显示当前状态信息,不太重要?偏移量.存储.主题

cld4siwp

cld4siwp1#

是的,这可能是。
“config.storage.topic”、“status.storage.topic”和“offset.storage.topic”都应配置为“cleanup.policy=compact”(默认情况下为“delete”)。使用此策略,保留时间将不起作用-我们将始终保留每个连接器的最新配置。

相关问题