kafka connect访问两个接收器(ftp和sql)

dgjrabp2  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(436)

我需要使用kafka connect sink将文件数据发送到ftp服务器,在服务器接收到整个文件后,我还必须发送一个确认来更改数据库中这些任务的状态。
我想知道什么是最好的方式去这里,我最初想创建一个自定义的ftpKafka连接,这也将改变任务数据库的状态。这是最好的方式,还是有其他选择?

3xiyfsfu

3xiyfsfu1#

是什么要求促使更新任务数据库中的状态?
不费吹灰之力,您就可以编写一个自定义应用程序,跟踪ftp接收器与可用消息的偏移量,并根据需要更新数据库。
值得注意的是https://www.confluent.io/product/control-center/ 可以跟踪kafka连接管道中消息的传递,并对延迟发出警报。

相关问题