发送到Kafka时出错:此记录在broker上验证失败,因此被拒绝

nkoocmlb  于 2023-06-05  发布在  Apache
关注(0)|答案(1)|浏览(605)

我们有一个Java进程发布到Kafka(托管在confluent)。当我们几个小时没有处理任何东西,然后我们重试,我们得到下面的所有消息的错误。但在我们重新启动后,一切都很好,所有的过程都很好。
我试过上网,但我能想出如何进行这一个。下一步可能是检查代理日志?(我在工作中没有接触到)。我可以从客户端做些什么来进一步调试吗?

2023-06-02 17:02:20,632 pid:[id] ERROR kafka.SimpleProducer  - java.util.concurrent.ExecutionException: org.apache.kafka.common.InvalidRecordException: This record has failed the validation on broker and hence be rejected.
        at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.valueOrError(FutureRecordMetadata.java:98)
        at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:67)
        at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:30)
xwbd5t1u

xwbd5t1u1#

代理可能会因为消息太大、身份验证错误、超过配额、模式保护等原因而拒绝消息。
代理日志可能会提供更多的细节,但根据它在等待后的工作情况,我猜这是配额限制,这在Confluent Cloud中默认启用。

相关问题