分布式模式下kafka connect集群的偏移管理行为是什么，即运行多个连接器并侦听同一组主题（或一个主题）？
因此，在分布式模式下，kafka connect将在kafka中存储偏移量信息，集群中的工作进程将读取并提交该偏移量。如果在kafka connect集群中运行多个连接器来侦听同一主题，会发生什么情况？分区的偏移量是否与所有连接器相同，或者每个连接器在分区上的偏移量不同？
分布式模式下kafka connect集群的偏移管理行为是什么，即运行多个连接器并侦听同一组主题（或一个主题）？
因此，在分布式模式下，kafka connect将在kafka中存储偏移量信息，集群中的工作进程将读取并提交该偏移量。如果在kafka connect集群中运行多个连接器来侦听同一主题，会发生什么情况？分区的偏移量是否与所有连接器相同，或者每个连接器在分区上的偏移量不同？
1条答案
按热度按时间nle07wnf1#
在幕后，接收器连接器具有属于某个消费者组的消费者（通常具有
group-id="connect-connectorName"). 据我所知，不能在同一用户组中有两个接收器连接器（无论如何，在同一用户组中有两个连接器是没有意义的—如果您愿意，可以简单地增加任务数）。因此，在您的用例中，当一条消息传入时，它将被两个连接器处理，并且两个不同的偏移量将被保留__consumer_offsets主题（每个连接器/使用者组一个）。