我有一个Kafka主题,里面有很多信息。第一步,我想将它们合并到大小旋转文件(10mb)或如果没有消息,基于时间的旋转文件(最多1小时)第二步,在每次合并之后,我想用文件的url向其他kafka主题添加一条消息。我知道我可以通过Kafka连接器进行组合,但我不能基于大小进行组合,只能基于时间。Kafka连接器的另一个问题是,我没有找到任何方法来满足“第二步”有什么主意吗?
92vpleto1#
组合消息没有任何意义。kafka消息的默认最大消息大小为1mb。Kafka不适合文件传输。如果必须这样做,可以像您所说的那样使用uri,或者将apachenifi添加到处理中。不清楚你指的是什么Kafka连接器
1条答案
按热度按时间92vpleto1#
组合消息没有任何意义。
kafka消息的默认最大消息大小为1mb。
Kafka不适合文件传输。如果必须这样做,可以像您所说的那样使用uri,或者将apachenifi添加到处理中。
不清楚你指的是什么Kafka连接器