Kafka分区影响性能

93ze6v8z  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(363)

为什么大量的分区会影响kafka集群的性能?管理和监视分区的最佳实践是什么?集群中分区计数的最佳实践是什么?

zqry0prt

zqry0prt1#

kafka控制器负责跟踪并更新集群中所有代理的集群状态。当分区的#增加时,控制器需要做更多的工作。控制器需要向所有其他代理广播kafka主题元数据信息。更多的分区意味着控制器需要通过网络发送更多的数据。
群集可以承载的分区数取决于群集设置。拥有更强大主机的集群将能够承载更多的主题分区。您可以监视集群上的分区数、代理之间的分区分布以及系统度量(cpu、i/o、网络等),以查看适合您的设置的分区数。在一台主机上托管超过4000个主题分区之后,我们看到了一些问题。通常,将每个主机的分区副本数控制在1000以下是一个好的做法。我们还可以检查控制器日志,看看是否有任何主题元数据更新失败。

相关问题