kafka连接和kafka代理版本兼容性

wsewodh2  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(825)


我们有一个“kerberized kafka cluster”运行代理版本apache kafka 0.11。这个集群由另一个团队管理,我们对此没有任何控制权。
我们现在正在尝试在我们自己的k8s集群上安装kafka connect集群。
我们遵循这个兼容性矩阵https://docs.confluent.io/current/installation/versions-interoperability.html
因此,我们必须使用confluent platform 3.3.3映像进行模式注册和kafka连接,因为brokers版本是0.11
此外,我们还希望启用此处实现的connect jmx度量:https://cwiki.apache.org/confluence/display/kafka/kip-196%3a+add+metrics+to+kafka+connect+framework
根据文档,kafka1.0.0支持这些jmx度量
问题是:
1) 我们可以使用Kafka经纪人版本0.11的最新合流图像(例如:版本5.2.0)吗?
2) 使用当前设置(Confluent3.3.3),我已经启用了所有jmx度量,但是我们没有看到任何基于kafka连接器的度量。我看到了一般的kafka连接度量,但不是每个连接器的度量(例如源和接收器度量),这是因为我们使用的旧cp版本吗?

pokxtpni

pokxtpni1#

confluent platform 3.2及更高版本中包含的kafka connect workers与confluent platform 3.0及更高版本中包含的任何kafka broker兼容
注意:kafkaconnect不是一个融合的平台特性,它是在普通的apachekafkaapi之上构建的。因此,使用kafka 1.0和2.0客户机库的connect示例仍然可以与kafka 0.11代理一起使用基本通信协议
如果您有kerberos问题,那么这些问题可能是无关的
我看到了一般的kafka连接度量,但不是每个连接器的度量
一般来说,没有诸如“读取/写入数据库的记录数”这样的每个连接器度量,或者至少,这在很大程度上取决于连接器是否真正实现了它们自己的度量,但是是的,3.3.x版本都基于kafka 0.11,而不是1.0,在1.0中添加了更多的connect api度量

相关问题