将Kafka主题中的消耗数据插入SQL数据库

noj0wjuj  于 2023-05-16  发布在  Apache
关注(0)|答案(1)|浏览(192)

我们正在开发一个项目,从Kafka主题中使用数据并将其插入SQL数据库。让我困惑的是,Apache Kafka没有SQL数据库的连接器,另一个选择是使用Confluent Kafka。
因此,请让我知道正确的方式,以便进行forwarder从我身边

wlzqhblo

wlzqhblo1#

《汇流Kafka》不是一个东西; Confluent为Kafka Connect编写插件,该插件可在Apache Kafka的任何发行版中使用,例如Confluent平台。
例如,IBM和Aiven都维护JDBC Kafka Connect sink插件,* 以及 * Confluent。
Kafka Connect附带的唯一插件是本地文件系统文件和MirrorMaker 2。
confluent-hub CLI works without Confluent Platform for installing such plugins.
或者,您可以使用Spark,Flink,NiFi等来写入没有Kafka Connect的数据库,或者使用某些数据库的内置Kafka摄取功能,例如Pinot,Couchbase,Clickhouse,Telegraf+InfluxDB,Logstash+Elasticsearch。SQL不应该是你唯一的选择,IMO

相关问题