为大型kafka集群提供多少引导服务器

cyvaqqii  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(302)

我有一个用例,我的kafka集群将有1000个代理,我正在编写kafka客户机。为了写客户,我需要提供经纪人名单。
问题是,为客户提供经纪人名单的建议准则是什么?
Kafka有没有类似代理的服务,我们可以提供给客户该代理将知道集群中的所有代理,并将客户端连接到适当的代理。-就像在redis世界中一样,我们有twemproxy(胡桃夹子)-融合的restapi可以作为代理吗?
是否建议在客户端提供任何特定数量的代理,例如,即使集群有1000个节点,也提供3个代理的列表如果经纪人破产了怎么办如果所提供的代理重新启动并且位置/ip发生更改怎么办?

qybjjes1

qybjjes11#

传递给客户机的代理url列表仅用于引导客户机。因此,客户机将自动了解所有其他可用的代理,并连接到需要“对话”的正确代理。
因此,如果客户已经在运行了,那么这些经纪人就倒下了,客户甚至不会注意到。只有当所有这些代理同时关闭,并且您启动客户机时,客户机才会“挂起”,因为它无法连接到集群并最终超时。
建议至少提供3个代理URL,以便在2个代理中断后“生存”。但如果你需要更高水平的弹性,你也可以提供更多。

相关问题