运行confluentinc/cp kafka-connect:5.5.1 with aws fargate中的debezium postgresql源连接器。
第一次运行时,没有问题。在rds中创建名为“debezium”的复制槽,并将数据库更改写入kafka主题。
我想测试失败的情况,所以,
我手动停止了fargate kafka连接任务。
法尔盖特创建了新任务。
任务完成后,我列出了http://kafka-connect:8083/connectors/,令人惊讶的是,我创建的现有连接器配置存在。
然而,http://kafka-connect:8083/connectors/source-debezium-01和http://kafka-connect:8083/connectors/source-debezium-01/status正在超时。(kafka connect已替换为nlb域)在cloudwatch中找不到任何日志。
尝试启用调试日志,https://rmoff.net/2020/01/16/changing-the-logging-level-for-kafka-connect-dynamically/但是,在启用调试日志之后,日志中没有显示任何内容。
找到了这个,https://rmoff.net/2019/11/29/kafka-connect-request-timed-out/但是,我用3个代理运行awsmsk,偏移主题复制因子是3。所以这对我来说不应该是个问题。
当我在rds中删除复制槽并在fargate中重新创建新任务时,kafka connect创建新的复制槽并开始工作。
问题,
既然fargate任务中没有持久性存储,连接器配置如何持久化?
为什么新任务不起作用,为什么我必须删除复制插槽?
暂无答案!
目前还没有任何答案,快来回答吧!