bounty将在6天后过期。回答此问题可获得+50的声誉奖励。Santoshkumar Kalasa正在寻找来自声誉良好来源的答案。
我希望消费者根据消息的长度/大小成批消费消息，成批意味着成批1 kb和最大轮询。记录为100。最大轮询100条消息或1 kb的消息。
max.poll.records =100如何在批处理中设置最大1 kb的消息？我已经尝试使用max.partition.fetch.bytes=1024，但即使消息批处理大于1024字节，我也会收到100条消息。如何控制这种行为？
如何设置最大1 kb的消息，最大每批100条消息？
1条答案
按热度按时间ars1skjm1#
使用者中的配置，如
max.partition.fetch.bytes或fetch.max.bytes都是不是绝对最大值。记录由使用者分批提取，如果提取的第一个非空分区中的第一个记录批次大于此值，则仍将返回该记录批次，以确保使用者可以继续
kafka建议通过
message.max.bytes（代理配置）或max.message.bytes（主题配置）进行定义。你可以在这里找到关于Kafka配置的所有细节：max.partition.fetch.bytes
希望能有所帮助。