有人对生产环境的kafka和zk配置有什么建议吗？
我在网上看了一下，有一些链接报告了压缩、ram方面的配置。。等等，但与zk和Kafka示例的数量无关。。。
我的部署有5个zoo和3个kafka示例：
NAME READY STATUS RESTARTS AGE
kafka-0 0/1 Running 0 12s
kafka-1 0/1 Running 0 12s
kafka-2 0/1 Running 0 12s
zoo-0 0/1 Running 0 12s
zoo-1 0/1 Running 0 12s
zoo-2 0/1 Running 0 12s
zoo-3 0/1 Running 0 12s
zoo-4 0/1 Running 0 12s我得到的是最好部署一个zk集群（单独），然后指向那个集群。kubernetes上的集群通信呢？
任何帮助或建议都将不胜感激-谢谢
1条答案
按热度按时间c8ib6hqw1#
我不是这方面的Maven，但我会先试一下。
我不明白的一件事是为什么你有比Kafka更多的zookeeper->zookeeper是Kafka的元数据存储，所以你可以从一个zookeeper开始，要处理故障转移，你可以用3个zookeeper。
因此，要创建一个简单的kafka产品集群，可以从3/5 kafka节点和3个zookeers开始。
Kafka磁盘大小应取决于您想要保留的时间。节点的数量应该取决于您想要的并行化。
我不知道kubernetes，所以不确定。但是zookeeper通常应该为每个基础设施都有单独的根文件夹，3个zookeeper应该是一个很好的开始(注意：您可能想尝试使用ssd作为zookeeper磁盘，有人说它很好，有人说没有改进，我建议您尝试并验证）
到了生产阶段，我更关心的是监控和确保服务不会下降。您可以通过执行以下操作来确保
kafka是预写日志，因此请确保在集群级别和主题级别都正确设置了rendition.bytes和retention.ms
监控任何滞后，特别是消费者滞后
引线分布是均匀的，您必须监视它以防任何节点重新启动分布可能会变得不均匀。
如果您正在处理大量数据，那么请务必担心压缩。