我在java中使用kafka，我将json消息作为字符串使用，速度是每分钟100万条消息，我需要拆分字符串，只取一些值并将其保存到csv以将其加载到数据库中，我如何才能做出这样的事情？
sd2nnvve1#
您可以使用kafka connect jdbc接收器将数据从kafka主题直接流到数据库。要了解更多有关Kafka连接的信息，请参阅文档和本演讲。下面是一个示例接收器连接器配置：
{ "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", "connection.url": "jdbc:mysql://mysql:3306/demo", "topics": "test01", "connection.user": "connect_user", "connection.password": "asgard", "auto.create": true, "auto.evolve": true, "insert.mode": "insert", "pk.mode": "record_key", "pk.fields": "MESSAGE_KEY" }
在本教程中了解更多信息：https://rmoff.dev/kafka-jdbc-video了解如何在kafka connect中安装jdbc驱动程序
1条答案
按热度按时间sd2nnvve1#
您可以使用kafka connect jdbc接收器将数据从kafka主题直接流到数据库。要了解更多有关Kafka连接的信息，请参阅文档和本演讲。
下面是一个示例接收器连接器配置：
在本教程中了解更多信息：https://rmoff.dev/kafka-jdbc-video
了解如何在kafka connect中安装jdbc驱动程序