Kafka连接文件流链接不完全是一次

x6h2sr28  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(284)

我曾考虑将filestreamsink kafka connect connector用于某些存储作业,但据我所知,在使用此文件连接器时,不可能只使用一次语义(我可以将记录写入文件,然后在提交到kafka之前崩溃)。在使用另一种解决方案(例如s3 sink connector提供eos)之前,我只想确保我是正确的,filestreamsink不提供eos。
有人能证实吗?

2lpgd968

2lpgd9681#

这是正确的,但事实并非如此。filestream连接器实际上只用于演示/poc,它们的设计不是“生产级”的,它的功能可能是人们所期望的(比如eos)。
正如您所说,s3接收器确实支持eos。

相关问题