kafka群集设置

v7pvogib  于 2021-06-06  发布在  Kafka
关注(0)|答案(2)|浏览(432)

我是Kafka科技的新手。我已经使用ambari建立了一个基本的单节点集群。
我想了解生产服务器的建议配置是什么。假设在制作中,我将有5个主题,每个主题每天的流量在500000到50000000之间。
我正在考虑使用ec2 r5.xlarge示例建立一个3-4节点的kafka集群。
我对Zookeeper的角色很困惑。我知道zookeeper需要奇数个节点,而zookeeper安装在所有kafka节点上,那么如何使用偶数个节点运行kafka。如果这是真的,它将限制Kafka奇数个节点以及。
真的需要在所有kafka节点上安装zookeeper吗。我可以在单独的节点上安装zookeeper,在单独的节点上安装kafka代理吗?
如果我想运行多个kafka集群呢。有没有可能通过一个zookeeper集群来管理多个kafka集群,如果可能怎么做?
我最近才开始学习Kafka,如果有任何帮助,我将不胜感激。
谢谢,

bbmckpt7

bbmckpt71#

我可以在单独的节点上安装zookeeper,在单独的节点上安装kafka代理吗?
你可以,如果你有可用的资源,你应该这样做。
zookeeper-server-start zookeeper.properties 在奇数台服务器上(最大5或7(对于较大的Kafka簇)
在Kafka代理的其他每台机器上,而不是zookeeper的服务器上,编辑 server.properties 指向 zookeeeper.connect 财产。
那就做吧 kafka-server-start server.properties 每一个新的Kafka经纪人。
从那里,你可以缩放Kafka独立的Zookeeper
是否可以通过单个zookeeper集群管理多个kafka集群
查查Zookeeper
一个Kafka集群将被定义为

zoo1:2181/kafka1

等一下

zoo1:2181/kafka2

如果机器不应该在同一个Kafka集群中,请注意不要混淆这些
您可以在github上的云中找到各种cloudformation、terraform或ansible repos,以分布式方式设置kafka,如果您熟悉的话,也可以选择kubernetes。

fxnxkyjh

fxnxkyjh2#

我对Zookeeper的角色很困惑。我知道zookeeper需要奇数个节点,而zookeeper安装在所有kafka节点上,那么如何使用偶数个节点运行kafka。如果这是真的,它将限制Kafka奇数个节点以及。
zookeeper可以,但不必安装在与kafka相同的服务器上。在奇数个节点上运行zookeeper不是必需的,只是非常好的推荐
真的需要在所有kafka节点上安装zookeeper吗。我可以在单独的节点上安装zookeeper,在单独的节点上安装kafka代理吗?
这不是必需的,最好不要让zookeeper和kafka在同一台服务器上。在另一台服务器上安装zookeeper与在同一台服务器上安装zookeeper非常相似。每个kafka代理都需要有指向所有zookeeper节点的zookeeper.connect设置。
如果我想运行多个kafka集群呢。有没有可能通过一个zookeeper集群来管理多个kafka集群,如果可能怎么做?
这是可能的。在这种情况下,建议使用专门用于zookeeper集成的服务器。在这种情况下,在zookeeper.connect设置中您应该使用hostname:port/path 相反只是hostname:port.

相关问题