使用kafka connect实时读取csv文件

q35jwt9p  于 2021-06-06  发布在  Kafka
关注(0)|答案(3)|浏览(727)

如何在java中集成kafka connect和kafka producer,以便实时读取csv文件?我很难找到任何与此相关的消息来源。
现在我正在使用scalaide运行一个简单的kafka生产者类,但是不知道如何将它与kafkaconnect一起使用。

c90pui9n

c90pui9n1#

用于读取csv文件的kafka connect连接器已存在:https://github.com/jcustenborder/kafka-connect-spooldir.
你可以在这里看到一个例子:https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-aws/
免责声明:我写了上述文章,并为confluent工作,这篇文章发表在他的博客上

vs3odd8k

vs3odd8k2#

Kafka连接有一个生产者已经内置。你只需要使用正确的连接器插件。为了读取csv文件,filestreamsource连接器(kafka的一部分)应该可以工作。您可以在独立模式下启动kafka connect(请参阅kafka文档)并配置连接器。作为kafka一部分的示例配置文件应该可以帮助您入门。

omjgkv6w

omjgkv6w3#

只是另一个用于读取csv文件的kafka connect插件:https://github.com/streamthoughts/kafka-connect-file-pulse
希望这个项目能帮助人们寻找类似的解决方案。
免责声明:我是这个项目的贡献者之一

相关问题