我是Kafka的初学者
我们正在寻找调整kafka集群（一个5节点集群）的大小，以每秒处理17000个事件，每个事件的大小为600字节。我们计划复制3个，并将活动保留一周
我在Kafka文档页面上看到了
assuming you want to be able to buffer for 30 seconds and
compute your memory need as write_throughput*30.这是什么意思？如果它是每秒的mb数-我看的是9960mb/秒
if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30 )那么292gb代表一个节点或整个集群（5个节点）的内存需求是多少
我真的很感激一些关于内存和磁盘大小的见解。
敬vb
1条答案
按热度按时间xmakbtuz1#
如果消息大小为600字节，消息速率为17k msg/s，那么吞吐量将为~10mb/s[17000600/（10241024）]。如果您对主题进行分区并使用5个代理，每个代理有3个10/5*3=6mb/s的副本，则需要缓冲，这在任何普通硬件上都不会是问题。缓冲30秒意味着180mb的内存。
如果您的意思是消息大小为600kb，那么您需要考虑添加大量非常快的存储以达到6gb/s，实际上最好增加集群的节点数。