kafka connect jdbc连接器在特定时间间隔后以批量模式连续发送相同的记录。以下是我的连接器属性：
name=test-mssql-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:jtds:sqlserver://localhost:1433/TESTDB;user=sa;password=sa12345
query=SELECT * FROM WF_PROCESS
mode=bulk
topic.prefix=TEST-
key.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer
value.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer
table.blacklist=trace_xe_action_map,trace_xe_event_map
2条答案
按热度按时间vdzxcuhz1#
批量模式应该在每次调用poll方法时发送所有记录。使用批量模式的主要用例是定期备份数据库表。您可以通过调整poll.interval.ms来配置备份频率。
为了避免这种情况，不要使用批量模式。而是使用“时间戳+递增”或“时间戳”或“递增模式”。有关详细信息，请参阅此链接。
inb24sb22#
您必须配置增量查询模式。基本上，kafka连接器需要一种方法来确定如何在每次启动查询时获取增量数据。