消息在apache kafka中被截断

jogvjijk  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(1070)

我是Kafka的新手,我在本地安装了带有默认配置的Kafka10。现在,我面临一个问题。我正在制作来自游戏机制作人的消息。如果消息大约是4096字节。然后,它就可以从控制台消费者那里得到很好的消费。但当我将消息大小从4096字节增加到4096字节时,在使用它时,消息会被截断到4096字节左右。我不明白这个问题。
发生了什么事?a) 消息发布不完整。b) 是消息被不完全消耗。
注意:我没有对默认设置做任何更改,我使用的是控制台生产者和消费者。
请任何人帮忙

qfe3c7zg

qfe3c7zg1#

您可能需要微调代理配置。检查此页:https://kafka.apache.org/documentation/#brokerconfigs
查找offset.metadata.max.bytes。默认值为4096。将此值设置为大于4096的值。如果这不起作用,寻找其他配置。您的问题可能是没有使用正确的配置。

zsbz8rwp

zsbz8rwp2#

可能是因为您正在使用console producer并将消息复制到终端(linux),但终端会将长消息截断到最大固定长度。

相关问题