每秒有多少kafka提交

von4xj4u  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(297)

我已经读到,您不应该太频繁地向kafka高级使用者提交偏移量,因为每次提交都是对zookeeper的写入,因此您可以减慢zookeeper的速度,因为它在其仲裁中具有很强的一致性。
我的问题是,给Zookeeper写的很多信是什么?我每秒发送10条消息,如果我能在每条消息之后提交,这会让我的系统变得更好,但这是不是太多了?我真的不知道。理想情况下,我想一些想法之前,我开始测试我们的完全加载Kafka集群。

cyvaqqii

cyvaqqii1#

如果您查看此图,您可以看到,他们的示例设置(3x双2ghz xeon和两个sata 15k rpm驱动器)可以处理约80000次写入/秒(如果您只有写入)。

资料来源:http://wiki.apache.org/hadoop/zookeeper/performance

相关问题