在两个不同的云层之间写Kafka主题的动觉流

fumotvh3  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(236)

我在aws云上托管了kinesis流,我想将这些数据下沉到google云中托管的现有kafka主题。我不确定连接这两个云的最有效和最安全的方法是什么,并确保数据传输过程中的延迟最小。
要求:
无法更改应用程序的基础结构或部署
目标kafka主题具有向该主题提交新消息的现有生产者,因此任何建议覆盖现有主题的解决方案都将不起作用
数据安全是重中之重
选项i使用Kafka连接动觉源连接器:使用此连接器将动觉Map到现有Kafka主题。
问题:
它是否可扩展,网络是否会成为瓶颈?
安全吗?理想的配置是什么?
选项2使用Kafka连接和Kafka镜像生成器:Kafka连接会将动觉流转换为Kafka消息,并接收到Kafka主题。kafka mirrormaker将负责集群(和云)之间的复制。
问题:
在现有主题上使用mirrormaker是否有任何副作用?
与直接使用kafka connect相比,使用kafka mirrormaker有什么优势吗?
它比选项2更安全吗?
选项3还有其他选项吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题