避免在kafka连接器插入模式下出现致命的重复密钥错误

mo49yndu  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(166)

我使用kafka jdbc连接器将数据插入postgres数据库。我的问题是,可能有来自不同主题(或其他系统)的重复数据共享同一个键,如果这些行已经存在,我需要避免插入它们。
不幸的是,如果我在kafka jdbc连接器上使用“insert”策略,它会由于不可恢复的错误(重复键)而失败并退出。我不想使用“upsert”模式,因为如果行已经被系统的其他部分插入,我不想覆盖它。
我很肯定postgres有一个on conflict(id)do nothing子句。那么,只有在指定的密钥不存在的情况下,有没有办法通过kafka连接器接收器插入数据,或者至少避免在这种情况下失败/退出连接器?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题