Kafka连接接收器“直通”连接器

2nbm6dog 于 2021-06-04 发布在 Kafka

关注(0)|答案(2)|浏览(446)

kafka jdbc接收器连接器是否支持将其消耗的内容写入不同的主题。我正在寻找一个通过机制和说明如下。如果没有，我可以链接一个接收器和源（从接收器写的地方读取），但我不认为这会有那么好的性能。也许我可以修改现有的接收器连接器来完成这个任务？

Topic 1 -> Sink Connector ->  Topic 2
               |
               V
               DB

2条答案

connect框架允许将导致错误的记录写入死信队列主题，但没有这样的机制 tee -就像连接中的功能一样。
如果您想要一个源读取接收器所写的内容，那么您将有两个连接器。
例如，

JDBC_Sink -> DB -> Debezium -> Topic

我建议编写一个简单的kafka流应用程序，将主题1到主题2的所有内容转发。并按原样使用连接器将主题1中的内容放入数据库。