如何避免特定于表的db错误来停止kafka connect jdbcsinkconnector中的所有数据流?

xpszyzbs  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(240)

我们有一个kafka->kafka connect->postgresql堆栈,它连续地将来自kafka的几十个主题的数据写入postgresql中的表。我的同事正在为我们的业务逻辑开发postgresql的触发器、函数和视图。有时我们会遇到与这些触发器的开发相关的db错误,这会将它们返回给jdbcsinkconnector任务,这会导致连接器失败并停止所有数据流。因此,如果一个表上有错误,则所有表的数据流都将停止。 errors.tolerance 设置为all,但这些db错误与数据无关。我生成了多个任务,但是当它们试图向表中插入数据时,都在5-10分钟内一个接一个地失败。有没有一种方法可以避免这样的情况,即忽略有错误的表,但继续流向其他表?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题