目前，我们有一个AWS MSK集群和AWS MSK sink connector for Snowflake，我们想向现有的AWS MSK Connector添加额外的主题。我们担心重新创建MSK connect时的主题偏移量。看起来AWS MSK没有动态更新配置的功能（在路线图中），并且只有删除/重新创建选项可用。但此选项将重置connector中的偏移量位置。
有人知道如何使用AWS MSK Connect保留偏移量吗？
第二种选择，如果我们将在docker中部署Kafka connector，我们可以在内部存储offset吗？这样在更新配置并重新启动connector后，它将从它离开的offset位置开始？
谢谢
1条答案
按热度按时间drnojrws1#
接收器连接器偏移量使用Kafka消费者组协议进行管理。每个接收器连接器都会创建一个名为
connect-{CONNECTOR_NAME}的组。只要消费者组存在，您使用相同的CONNECTOR_NAME值创建的任何后续接收器连接器都将从上次提交的偏移量继续。简单地说：只要保留将数据接收到Snowflake的连接器的名称，它就会自动捕获偏移量，您无需担心。有关偏移量的更多信息，请访问：https://docs.aws.amazon.com/msk/latest/developerguide/msk-connect-workers.html