我想使用kafka connect将kafka主题中的大量数据备份和恢复到不同的目标（文件、另一个主题、s3…）。但是，它以流模式运行，因此从不终止。但在我的场景中，它应该在处理完当前主题中的所有数据后自动退出（在我的上下文中，可以确保在备份开始之前关闭所有生产者）。是否有任何选项/参数使kafka connect连接器在处理所有当前数据（例如存储在文件中）后自动终止？
rqdpfwrv1#
恐怕没有这样的选择。您可以在kafka connect group.id上创建“看门狗”检查延迟，一旦延迟被处理，例如=0，您就关闭了进程。正如我们在公司所做的那样：我们每3-6小时启动一次消费者处理消息，以处理延迟，创建文件，然后终止。文件正在上载到其他目标。
1条答案
按热度按时间rqdpfwrv1#
恐怕没有这样的选择。您可以在kafka connect group.id上创建“看门狗”检查延迟，一旦延迟被处理，例如=0，您就关闭了进程。
正如我们在公司所做的那样：我们每3-6小时启动一次消费者处理消息，以处理延迟，创建文件，然后终止。文件正在上载到其他目标。