使用Kafka Connect从具有动态有效负载的API拉取数据

ctehm74n  于 2023-11-16  发布在  Apache
关注(0)|答案(1)|浏览(89)

我有一个API,它根据输入的有效负载提供数据,其中包括国家和周数。我的目标是从这个API中检索数据并将其发布到Kafka主题。虽然我知道我可以为此任务创建一个自定义生产者应用程序,但我有兴趣探索使用Kafka Connect实现这一目标的可能性。
我知道存在用于Kafka Connect的HTTP源连接器,但我没有遇到任何清晰的示例来演示如何在向API发出请求时传递动态负载。
有没有人使用Kafka Connect成功地完成了类似的任务,特别是在处理需要动态负载的API时?任何指导,示例或建议都将非常感谢。

b1uwtaje

b1uwtaje1#

任何动态设置都将通过 static 配置或每个HTTP请求更改的时间戳公开。
例如,您在连接器配置中设置country.code..
所以,不,你提供的具体例子不太可能存在
您的另一个选择是使用AWS lambda / GCP Function sink连接器,例如,并将确切的参数传递给它们,然后在那里编写您自己的HTTP触发器代码。或者尝试Airflow,Nifi等服务,而不是Kafka Connect

相关问题