我想和kafka一起使用apachespark结构化流媒体,spark结构化流媒体支持kafka 0.10和更高版本,我的kafka集群使用kafka版本0.8.2.1。我想将当前kafka 0.8.2.1集群中的一些主题复制到基于2.2.0的新kafka集群中。
为此,我尝试使用kafka 2.2.0集群上的kafka console consumer侦听来自kafka集群0.8.2.1的消息,并将kafka console consumer的结果通过管道传输到kafka 2.2.0集群上的kafka console producer。但这并没有说明kafka2.2.0集群上的kafka控制台使用者无法接收任何消息。
1条答案
按热度按时间xmq68pz91#
到目前为止,我已经通过使用java客户端API从kafka 0.8.2.1集群读取数据解决了这个问题,并且正在使用客户端API将从较旧的kafka集群(0.8.2.1)读取的数据写入较新的kafka集群(2.2.0)。
有人能提出一些更好的方法来镜像两个运行不同版本Kafka的Kafka集群吗?