我刚刚开始学习Kafka,我正试图建立一个原型,有一个生产者,这是一个RESTAPI和发送数据给Kafka消费者。我查阅了大量的文件来找出一些特殊的程序。我无法理解是否有一个连接器可以像fileconnector或为ApacheKafka提供的jdbc连接器那样使用。我应该为此编写自定义连接器吗?我不知道从哪里开始。我特别是寻找一些结构化的文件或如何完成这一点的想法。
ngynwnxp1#
听起来你在谈论rest代理中已经存在的功能。这提供了一个restapi,用于将数据生成到kafka中,或使用kafka中的数据。编辑:从你的评论,我理解你的问题是不同的。如果要将数据从rest端点拉入kafka,可以使用kafka connect和kafka connect rest插件。这里有一个例子。
t5zmwmid2#
不需要编写连接器(此外,python不可能这样做)。http已经存在一个。https://github.com/llofberg/kafka-connect-rest
2条答案
按热度按时间ngynwnxp1#
听起来你在谈论rest代理中已经存在的功能。这提供了一个restapi,用于将数据生成到kafka中,或使用kafka中的数据。
编辑:从你的评论,我理解你的问题是不同的。如果要将数据从rest端点拉入kafka,可以使用kafka connect和kafka connect rest插件。这里有一个例子。
t5zmwmid2#
不需要编写连接器(此外,python不可能这样做)。http已经存在一个。
https://github.com/llofberg/kafka-connect-rest