kafka源连接器,用于完全同步和正常同步情况

jq6vz3qz  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(250)

我有以下kafka couchbase连接器的用例:
couchbase和kafka之间的正常同步,应该在多个工人之间分配和传播,并且一直运行
由脚本触发的完全同步作业。它应该忽略偏移量,将couchbase的所有更改拉到一个单独的主题中。这应该是并行运行的正常同步作业,只有当我们需要做备份等运行。
问题是如何最好地实现这一点?如果它们都是同一个分布式集群的一部分,它们会共享偏移文件吗?如果为了完全同步而删除偏移文件,会发生什么情况?会影响正常同步吗?或者最好不要将两个作业都放在同一个集群中?我觉得集群中的任何连接器都共享同一个偏移主题,所以将它们放在一个集群中是不可行的,但是我还是不太确定集群的内部结构。如有任何建议,我们将不胜感激

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题