我将binlog mysql的数据同步到kafka，有时binlog文件被删除了，重启connector时出现错误 org.apache.kafka.connect.errors.ConnectException: The connector is trying to read binlog starting at binlog file 'mysql-bin.000003', pos=154, skipping 0 events plus 0 rows 我将/tmp/connect.offset更改为当前binlog文件。但它再次从数据库push topic加载所有数据。我想防止这种情况，我只想从binlog文件加载更改。
1条答案
按热度按时间sauutmhj1#
这是预期的行为。debezium不应该关闭太长时间，以至于任何没有被看到的binlog都被删除，因为这会导致数据不一致，所以错误消息是正确的。
解决这种情况的正确方法是使用
snapshot.mode=when_needed. 你刚才提到的另一个解决方案是偏移操纵。但在这里你一定犯了任何错误，因为你所描述的听起来像是connectr根本找不到偏移量，所以它认为它从头开始并启动了一个新的快照。