我正在尝试创建1000个连接器，每个连接器都有一个任务、自己的使用者组和我的kafka kubernetes集群中的唯一主题（创建连接器之后，我的最终目标是向连接器的主题发送大量请求，并测量我们实现的连接器接收器的性能）。
每次创建都会触发整个集群的重新平衡，从而“阻塞”连接器restapi（所有返回409）并关闭任务。
因此，我有三个问题：
重新平衡是连接器的一种停机时间吗（如我所说，在重新平衡时有任务关闭并重新启动，而连接器只有一个任务）？
我可以配置重新平衡计划吗？
有没有一种批量创建连接器的方法，这样可以快速（比如说在不到一秒钟的时间内创建100个连接器）并且不会导致停机（如果第一个问题的答案是肯定的）？
1条答案
按热度按时间kmbjn2e31#
解决这个问题的一种方法是启动1000个连接集群（比如，通过docker编排），所有集群都使用一个或几个连接器。
再平衡是没有办法的。您将消费者添加到同一个消费者组中，因此始终会重新平衡。
我建议不要对每个连接器运行一个任务，而是将多个主题/任务分组在一起，而不要共享类似的配置，这样可以限制重新平衡的工作量。