Kafka论ec2的多重示例

cwtwac6a  于 2023-01-12  发布在  Apache
关注(0)|答案(1)|浏览(216)

我是新的Kafka,试图做一个项目。想这样做,因为它将是在现实生活中的例子,但我有点困惑。当通过互联网搜索我发现,如果我想有3个经纪人和3个Zookeeper,提供复制因子= 2和法定人数,我需要6个EC2示例。我正在通过YouTube寻找一些例子,但据我所知,所有这些虚拟机都显示一个群集上有多个代理。据我所知,最好在每个虚拟机上分别保留ZK和所有代理,这样,如果一个虚拟机出现故障,我仍然保留所有其余代理。您能否确认?
另外,想知道如何设置分区。它在创建主题的开始是重要的,还是我在以后需要扩展时改变它?
先谢了
我在找yt,google的信息。

bxjv4tth

bxjv4tth1#

我的建议是使用MSK Serverless,忘记有多少台机器存在。
Kafka 3.3.1不再需要Zookeeper了。Zookeeper不需要是单独的机器(尽管推荐)。你也可以在一台服务器上运行多个代理...所以,我不太清楚为什么你需要6个来获得2个复制因子。
对于分区,可以提前创建分区(如有必要,可过度调配),因为在进行扩展时无法轻松地跨分区移动数据

相关问题