试图用5分钟的滚动窗口从单个流聚合数据。最初它运行良好,能够打印汇总的记录。使用Java8进行开发。
但后来开始收到一个错误-
org.apache.kafka.common.errors.recordtoolargeexception:序列化时消息为5292482字节,大于1048576,这是max.request.size配置的值
现在,每次在eks集群中启动我的应用程序后,都会在一分钟内崩溃,出现同样的错误。
尝试设置以下streamconfig,但也没有帮助:streamsconfig.receive\u buffer\u config(50 mb)streamsconfig.cache\u max\u bytes\u buffering\u config(50 mb)
下列任何一项都可以解决此问题:
使用inmemorykeyvaluestore。是否有任何特定的属性为inmemorykeyvaluestore分配一些内存?
或者应该切换到persistentkeyvaluestore?
在创建集群时,使用aws msk so定义代理和主题级别设置-message.max.bytes,并使用适当的值。
提前谢谢。
1条答案
按热度按时间brqmpdu11#
是制片人
max.request.size
(如错误消息中所述)需要增加以解决问题。注意,您可能需要增加broker/topic配置
message.max.bytes
你还提到了。