Kafka复制器设置体系结构

o8x7eapl  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(166)

我有两个Kafka集群,一个在伦敦,另一个在纽约。每个都有三个zookeeper示例和两个代理。在每个区域中有两个主题:inputdata主题和outputdata主题。我希望每个区域复制另一个区域的数据,即有效地使用全局inputdata和outputdata主题。如果纽约市在此基础上增加了两条信息,则应将其复制到欧洲、中东和非洲地区。如果欧洲、中东和非洲地区增加了三条信息,这些信息应该会传到纽约市。
我的问题是我如何做到这一点?双向复制有效吗?或者你进入了一个无休止的循环/并发性有问题吗。也就是说,如果纽约市在emea编写消息的同时在本地编写消息,那么replicator会尝试同步这些主题,但它们现在不同步了。
这有可能吗?或者复制只能以一种方式工作-即您必须有一个只从主集群写入的源主题,并且复制到的位置是只读的?
我的第二个问题是如何使复制器具有容错性,我是否以分布式模式运行它,每台服务器有一个连接工作线程—在本例中,这将使每个集群有两个连接工作线程?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题