jdbc源连接器跳过记录(但之后不会…)

jobtbby3  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(242)

我正面临一个jdbc源连接器处于(严格地)递增模式的问题。在连接器所从的数据集中,有从id=1开始的连续id。
在连接器的初始部署时,它只接收数据集中大约1/3-1/2的预期记录。请注意,我确信在“连接器的初始部署”中创建了一个全新的消费群体。跳过的记录的ID看起来是随机的。我通过直接对包含数据集的数据库运行源sql来确定“预期记录”。我在ids高达10k的数据集、ids超过130k的数据集以及中间的一些数据集中遇到了跳过。更奇怪的是,当我通过向使用者主题发送消息并重新部署连接器来强制重新摄取数据(即相同的精确数据/数据集)时,我没有遇到跳过;所有预期的记录都指向主题。
怎么会这样?
其他注意事项:
-我的sql中没有排序或cte

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题