kafka连接错误处理和改进的日志记录

nhjlsmyf  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(160)

我试图利用kafkaconnect在2.0.0版本中的一些增强,正如这个kip所指定的那样https://cwiki.apache.org/confluence/display/kafka/kip-298%3a+error+handling+in+connect 我看到了罗宾的一篇好博客https://www.confluent.io/blog/kafka-connect-deep-dive-error-handling-dead-letter-queues.
这是我的问题
我已经准备好了 errors.tolerance=all 在我的连接器配置中。如果我理解正确,它将不会失败的不良记录和前进。我的理解正确吗?在我的例子中,消费者没有失败,而是停留在市场中 RUNNING 国家(这是预期的),但消费者补偿不前进的行政区与不良记录。猜猜为什么会这样?
我已经准备好了 errors.log.include.messages 以及 errors.log.enable 为真,但我没有看到任何额外的记录失败的记录。这些日志与我在启用这些属性之前看到的类似。我没有看到这样的信息https://github.com/apache/kafka/blob/5a95c2e1cd555d5f3ec148cc7c765d1bb7d716f9/connect/runtime/src/main/java/org/apache/kafka/connect/runtime/errors/logreporter.java#l67
一些上下文:在我的连接器中,我对每条记录进行一些转换和验证,如果其中任何一条失败,我抛出 RetriableException . 早些时候我在扔 RuntimeException 但是在阅读了retrywithtoleranceoperator类的注解之后,我改为retriableexception。
我试图保持简短,但让我知道如果任何额外的内容是必要的。
提前多谢了!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题