debezium sql server源连接器在连接器重新启动后跳过记录

z2acfund  于 2021-07-24  发布在  Java
关注(0)|答案(1)|浏览(415)

我使用debezium cdc sql server源连接器从sql server获取数据并将其放入kafka中我使用的配置如下

name=ds1
connector.class=io.debezium.connector.sqlserver.SqlServerConnector
tasks.max=1
database.server.name=server2
database.hostname=localhost
database.port=1433
database.user=sa
database.password=Password!
database.dbname=demo

# table.whitelist=mytable

database.history.kafka.bootstrap.servers=localhost:9092
database.history.kafka.topic=schema-changes.demo

当我用相同的名称重新启动连接器时,连接器不会获取现在生成的数据,是否有任何错误,或者是否需要为连接器添加其他配置?

x6h2sr28

x6h2sr281#

这正是人们所期望的行为。kafka connect将使用连接器的名称来存储从中读取源系统中数据的偏移量。重新启动连接器时,kafka connect将不会重新处理已经读取的数据,否则会产生不需要的重复数据。
如果要实际重新处理现有数据,最简单的方法是使用新名称创建连接器。

相关问题