kafka流读写分离集群

yhuiod9q  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(288)

以前也回答过类似的问题,但解决方案不适用于我的用例。
我们在2个单独的dcs中运行2个kafka集群。我们的总传入流量在这两个DC之间分配。
我会在每个dc中运行单独的kafka流应用程序来转换数据,并希望在单个dc中写入kafka主题。我怎样才能做到这一点?
最终,我们将索引Druid中的Kafka主题数据。不可能运行单独的druid集群,因为我们正在尝试聚合数据。
我读到过一条Kafka流是不可能的。有没有一种方法可以使用另一个kafka流从dc1读取并写入dc2 kafka集群?

vmdwslir

vmdwslir1#

正如您自己编写的那样,您不能使用kafka streams api从kafka集群a读取数据并写入另一个kafka集群b。
相反,如果您想在kafka集群之间移动数据(无论是在同一个dc中还是跨多个dc),应该使用apachekafka的mirror maker或confluent replicator等工具。

相关问题