镜像生成器工具

rqqzpn5f  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(381)

我试图找到多站点模型。假设有许多数据中心位于不同的站点,我的意思是站点之间可能有延迟。为了避免延迟,哪种架构最适合我?我读过关于mirror maker工具的文章,据我所知,它需要kafka代理在每个站点上与生产者和消费者一起使用,我会从许多站点的生产者那里获取数据,但只在中心站点使用,而且我不需要太多的副本,保留数据对我来说并不像实时处理数据那样重要。

4zcjmb1e

4zcjmb1e1#

mirror maker允许您在多个kafka集群之间进行复制,如果您需要的话。你不能“避免延迟”,因为有光速要应付;-)
有关多dc部署的一般概述,请参阅
https://www.confluent.io/white-paper/disaster-recovery-for-multi-datacenter-apache-kafka-deployments/
https://www.confluent.io/whitepaper/confluent-enterprise-reference-architecture/
如果您想直接推荐一个体系结构,您需要提供关于您的需求的更具体的细节。如果延迟是一个考虑因素的话,你能解释一下为什么你要在多个站点生产,在一个站点消费吗?你可以做一个拉伸集群(一个kafka集群跨越多个站点),但是你会发现zookeeper对站点之间的延迟很敏感,这会导致大问题。

相关问题