我已经读到,您不应该太频繁地向kafka高级使用者提交偏移量,因为每次提交都是对zookeeper的写入,因此您可以减慢zookeeper的速度,因为它在其仲裁中具有很强的一致性。
我的问题是,给Zookeeper写的很多信是什么?我每秒发送10条消息,如果我能在每条消息之后提交,这会让我的系统变得更好,但这是不是太多了?我真的不知道。理想情况下,我想一些想法之前,我开始测试我们的完全加载Kafka集群。
我已经读到,您不应该太频繁地向kafka高级使用者提交偏移量,因为每次提交都是对zookeeper的写入,因此您可以减慢zookeeper的速度,因为它在其仲裁中具有很强的一致性。
我的问题是,给Zookeeper写的很多信是什么?我每秒发送10条消息,如果我能在每条消息之后提交,这会让我的系统变得更好,但这是不是太多了?我真的不知道。理想情况下,我想一些想法之前,我开始测试我们的完全加载Kafka集群。
1条答案
按热度按时间cyvaqqii1#
如果您查看此图,您可以看到,他们的示例设置(3x双2ghz xeon和两个sata 15k rpm驱动器)可以处理约80000次写入/秒(如果您只有写入)。
资料来源:http://wiki.apache.org/hadoop/zookeeper/performance