kafka streams聚合recordtoolargeexception

vltsax25  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(390)

试图用5分钟的滚动窗口从单个流聚合数据。最初它运行良好,能够打印汇总的记录。使用Java8进行开发。
但后来开始收到一个错误-
org.apache.kafka.common.errors.recordtoolargeexception:序列化时消息为5292482字节,大于1048576,这是max.request.size配置的值
现在,每次在eks集群中启动我的应用程序后,都会在一分钟内崩溃,出现同样的错误。
尝试设置以下streamconfig,但也没有帮助:streamsconfig.receive\u buffer\u config(50 mb)streamsconfig.cache\u max\u bytes\u buffering\u config(50 mb)
下列任何一项都可以解决此问题:
使用inmemorykeyvaluestore。是否有任何特定的属性为inmemorykeyvaluestore分配一些内存?
或者应该切换到persistentkeyvaluestore?
在创建集群时,使用aws msk so定义代理和主题级别设置-message.max.bytes,并使用适当的值。
提前谢谢。

brqmpdu1

brqmpdu11#

是制片人 max.request.size (如错误消息中所述)需要增加以解决问题。
注意,您可能需要增加broker/topic配置 message.max.bytes 你还提到了。

相关问题