kafka connector如何用于postgresql和mysql数据库

qcuzuvrc  于 2021-06-17  发布在  Mysql
关注(0)|答案(1)|浏览(588)

我在这里跟随快速入门教程快速入门Kafka连接
本教程演示如何将mysql数据库表更改流式传输到kafka主题中。
唯一的部分是下载所有内容,然后添加 /tmp/kafka-connect-jdbc-source.json 文件的一些配置属性和开始
这在后台是如何工作的?
1:它是否为特定的时间间隔创建与数据库和监视表的连接?或
2:是否使用复制日志(我不知道这是怎么回事)
3:mysql和postgresql的机制是一样的吗?

oyt4ldly

oyt4ldly1#

debezium监控oplog。
kafka connect jdbc by confluent(您已经链接到)可以使用时间间隔,并且该配置由所有兼容jdbc的连接共享,包括mysql和postgres。
对于使用时间戳的增量查询模式,源连接器使用配置 timestamp.delay.interval.ms ...
复制日志(我不知道这是怎么回事)
您可以在这里找到debezium指南,但是mongo、postgres、mysql、mssql、oracle等的机制不同。

相关问题