将Kafka主题中的小消息合并到大文件中

cs7cruho  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(345)

我有一个Kafka主题,里面有很多信息。
第一步,我想将它们合并到大小旋转文件(10mb)或如果没有消息,基于时间的旋转文件(最多1小时)
第二步,在每次合并之后,我想用文件的url向其他kafka主题添加一条消息。
我知道我可以通过Kafka连接器进行组合,但我不能基于大小进行组合,只能基于时间。Kafka连接器的另一个问题是,我没有找到任何方法来满足“第二步”
有什么主意吗?

92vpleto

92vpleto1#

组合消息没有任何意义。
kafka消息的默认最大消息大小为1mb。
Kafka不适合文件传输。如果必须这样做,可以像您所说的那样使用uri,或者将apachenifi添加到处理中。
不清楚你指的是什么Kafka连接器

相关问题