Spring Boot Kafka consumer根据messager的大小批处理侦听器轮询记录

iswrvxsc  于 2023-01-13  发布在  Spring
关注(0)|答案(1)|浏览(125)

bounty将在6天后过期。回答此问题可获得+50的声誉奖励。Santoshkumar Kalasa正在寻找来自声誉良好来源的答案

我希望消费者根据消息的长度/大小成批消费消息,成批意味着成批1 kb和最大轮询。记录为100。最大轮询100条消息或1 kb的消息。

max.poll.records =100

如何在批处理中设置最大1 kb的消息?我已经尝试使用max.partition.fetch.bytes=1024,但即使消息批处理大于1024字节,我也会收到100条消息。如何控制这种行为?
如何设置最大1 kb的消息,最大每批100条消息?

ars1skjm

ars1skjm1#

使用者中的配置,如max.partition.fetch.bytesfetch.max.bytes都是不是绝对最大值
记录由使用者分批提取,如果提取的第一个非空分区中的第一个记录批次大于此值,则仍将返回该记录批次,以确保使用者可以继续
kafka建议通过message.max.bytes(代理配置)或max.message.bytes(主题配置)进行定义。
你可以在这里找到关于Kafka配置的所有细节:max.partition.fetch.bytes
希望能有所帮助。

相关问题