我是Kafka科技的新手。我已经使用ambari建立了一个基本的单节点集群。
我想了解生产服务器的建议配置是什么。假设在制作中,我将有5个主题,每个主题每天的流量在500000到50000000之间。
我正在考虑使用ec2 r5.xlarge示例建立一个3-4节点的kafka集群。
我对Zookeeper的角色很困惑。我知道zookeeper需要奇数个节点,而zookeeper安装在所有kafka节点上,那么如何使用偶数个节点运行kafka。如果这是真的,它将限制Kafka奇数个节点以及。
真的需要在所有kafka节点上安装zookeeper吗。我可以在单独的节点上安装zookeeper,在单独的节点上安装kafka代理吗?
如果我想运行多个kafka集群呢。有没有可能通过一个zookeeper集群来管理多个kafka集群,如果可能怎么做?
我最近才开始学习Kafka,如果有任何帮助,我将不胜感激。
谢谢,
2条答案
按热度按时间bbmckpt71#
我可以在单独的节点上安装zookeeper,在单独的节点上安装kafka代理吗?
你可以,如果你有可用的资源,你应该这样做。
跑
zookeeper-server-start zookeeper.properties
在奇数台服务器上(最大5或7(对于较大的Kafka簇)在Kafka代理的其他每台机器上,而不是zookeeper的服务器上,编辑
server.properties
指向zookeeeper.connect
财产。那就做吧
kafka-server-start server.properties
每一个新的Kafka经纪人。从那里,你可以缩放Kafka独立的Zookeeper
是否可以通过单个zookeeper集群管理多个kafka集群
查查Zookeeper
一个Kafka集群将被定义为
等一下
如果机器不应该在同一个Kafka集群中,请注意不要混淆这些
您可以在github上的云中找到各种cloudformation、terraform或ansible repos,以分布式方式设置kafka,如果您熟悉的话,也可以选择kubernetes。
fxnxkyjh2#
我对Zookeeper的角色很困惑。我知道zookeeper需要奇数个节点,而zookeeper安装在所有kafka节点上,那么如何使用偶数个节点运行kafka。如果这是真的,它将限制Kafka奇数个节点以及。
zookeeper可以,但不必安装在与kafka相同的服务器上。在奇数个节点上运行zookeeper不是必需的,只是非常好的推荐
真的需要在所有kafka节点上安装zookeeper吗。我可以在单独的节点上安装zookeeper,在单独的节点上安装kafka代理吗?
这不是必需的,最好不要让zookeeper和kafka在同一台服务器上。在另一台服务器上安装zookeeper与在同一台服务器上安装zookeeper非常相似。每个kafka代理都需要有指向所有zookeeper节点的zookeeper.connect设置。
如果我想运行多个kafka集群呢。有没有可能通过一个zookeeper集群来管理多个kafka集群,如果可能怎么做?
这是可能的。在这种情况下,建议使用专门用于zookeeper集成的服务器。在这种情况下,在zookeeper.connect设置中您应该使用hostname:port/path 相反只是hostname:port.