需要使用apachenifi将记录单独发送到kafka

wgx48brx  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(327)

我正在从测试场景的nifi用户日志文件本身读取流/批处理格式的记录,并使用convertrecord nifi processor将其转换为avro格式,然后使用publishkafka\u 2\u 0 processor发布到kafka主题。我还使用schema registry进行模式确认。所以现在,当记录被转储到kafka上时,它被作为单个数组而不是单个记录来完成。有没有办法把记录分解成一个单独的实体。我已经尝试过分割记录处理器它似乎没有达到预期的效果。有没有别的方法可以实现呢。
--更新

vaqhlq81

vaqhlq811#

为了获得正确的反馈,请分享一个重现问题的流程,但是以下步骤有望实现您的期望:
在发送给Kafka之前直接分割你的信息,并确认分割确实成功
尝试发布Kafka记录2.0而不是发布Kafka2.0
将最大消息大小设置为1字节而不是1mb?!

相关问题