我们有一个Java进程发布到Kafka(托管在confluent)。当我们几个小时没有处理任何东西,然后我们重试,我们得到下面的所有消息的错误。但在我们重新启动后,一切都很好,所有的过程都很好。
我试过上网,但我能想出如何进行这一个。下一步可能是检查代理日志?(我在工作中没有接触到)。我可以从客户端做些什么来进一步调试吗?
2023-06-02 17:02:20,632 pid:[id] ERROR kafka.SimpleProducer - java.util.concurrent.ExecutionException: org.apache.kafka.common.InvalidRecordException: This record has failed the validation on broker and hence be rejected.
at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.valueOrError(FutureRecordMetadata.java:98)
at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:67)
at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:30)
1条答案
按热度按时间xwbd5t1u1#
代理可能会因为消息太大、身份验证错误、超过配额、模式保护等原因而拒绝消息。
代理日志可能会提供更多的细节,但根据它在等待后的工作情况,我猜这是配额限制,这在Confluent Cloud中默认启用。