我有两个Kafka集群,一个在伦敦,另一个在纽约。每个都有三个zookeeper示例和两个代理。在每个区域中有两个主题:inputdata主题和outputdata主题。我希望每个区域复制另一个区域的数据,即有效地使用全局inputdata和outputdata主题。如果纽约市在此基础上增加了两条信息,则应将其复制到欧洲、中东和非洲地区。如果欧洲、中东和非洲地区增加了三条信息,这些信息应该会传到纽约市。
我的问题是我如何做到这一点?双向复制有效吗?或者你进入了一个无休止的循环/并发性有问题吗。也就是说,如果纽约市在emea编写消息的同时在本地编写消息,那么replicator会尝试同步这些主题,但它们现在不同步了。
这有可能吗?或者复制只能以一种方式工作-即您必须有一个只从主集群写入的源主题,并且复制到的位置是只读的?
我的第二个问题是如何使复制器具有容错性,我是否以分布式模式运行它,每台服务器有一个连接工作线程—在本例中,这将使每个集群有两个连接工作线程?
暂无答案!
目前还没有任何答案,快来回答吧!