听数百个Kafka主题并将数据存储到数据库的更好方法

csga3l58 于 2021-06-04 发布在 Kafka

关注(0)|答案(1)|浏览(280)

我们正在构建一个系统，使用名为qlik的产品将数据从sybase迁移到oracle，它还提供了cdc
这是我的设想
qlik工具将为每个表创建kafka主题，并从sybase db发布所有数据
topic中的每条消息都有一些元数据，其中一条会告诉我们它的insert/update/delete
另一方面，我们必须构建使用者层来从每个主题中提取数据，并在oracledb中更新/同步相应的表
我想什么是更好的方法来建立消费者层。非常感谢您的帮助

apache-kafka apache-kafka-connect confluent-schema-registry

来源：https://stackoverflow.com/questions/63265439/better-approach-to-listen-hundreds-of-kafka-topic-and-store-data-into-database