如何在java中集成kafka connect和kafka producer,以便实时读取csv文件?我很难找到任何与此相关的消息来源。现在我正在使用scalaide运行一个简单的kafka生产者类,但是不知道如何将它与kafkaconnect一起使用。
c90pui9n1#
用于读取csv文件的kafka connect连接器已存在:https://github.com/jcustenborder/kafka-connect-spooldir.你可以在这里看到一个例子:https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-aws/免责声明:我写了上述文章,并为confluent工作,这篇文章发表在他的博客上
vs3odd8k2#
Kafka连接有一个生产者已经内置。你只需要使用正确的连接器插件。为了读取csv文件,filestreamsource连接器(kafka的一部分)应该可以工作。您可以在独立模式下启动kafka connect(请参阅kafka文档)并配置连接器。作为kafka一部分的示例配置文件应该可以帮助您入门。
omjgkv6w3#
只是另一个用于读取csv文件的kafka connect插件:https://github.com/streamthoughts/kafka-connect-file-pulse希望这个项目能帮助人们寻找类似的解决方案。免责声明:我是这个项目的贡献者之一
3条答案
按热度按时间c90pui9n1#
用于读取csv文件的kafka connect连接器已存在:https://github.com/jcustenborder/kafka-connect-spooldir.
你可以在这里看到一个例子:https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-aws/
免责声明:我写了上述文章,并为confluent工作,这篇文章发表在他的博客上
vs3odd8k2#
Kafka连接有一个生产者已经内置。你只需要使用正确的连接器插件。为了读取csv文件,filestreamsource连接器(kafka的一部分)应该可以工作。您可以在独立模式下启动kafka connect(请参阅kafka文档)并配置连接器。作为kafka一部分的示例配置文件应该可以帮助您入门。
omjgkv6w3#
只是另一个用于读取csv文件的kafka connect插件:https://github.com/streamthoughts/kafka-connect-file-pulse
希望这个项目能帮助人们寻找类似的解决方案。
免责声明:我是这个项目的贡献者之一