为什么大量的分区会影响kafka集群的性能?管理和监视分区的最佳实践是什么?集群中分区计数的最佳实践是什么?
zqry0prt1#
kafka控制器负责跟踪并更新集群中所有代理的集群状态。当分区的#增加时,控制器需要做更多的工作。控制器需要向所有其他代理广播kafka主题元数据信息。更多的分区意味着控制器需要通过网络发送更多的数据。群集可以承载的分区数取决于群集设置。拥有更强大主机的集群将能够承载更多的主题分区。您可以监视集群上的分区数、代理之间的分区分布以及系统度量(cpu、i/o、网络等),以查看适合您的设置的分区数。在一台主机上托管超过4000个主题分区之后,我们看到了一些问题。通常,将每个主机的分区副本数控制在1000以下是一个好的做法。我们还可以检查控制器日志,看看是否有任何主题元数据更新失败。
1条答案
按热度按时间zqry0prt1#
kafka控制器负责跟踪并更新集群中所有代理的集群状态。当分区的#增加时,控制器需要做更多的工作。控制器需要向所有其他代理广播kafka主题元数据信息。更多的分区意味着控制器需要通过网络发送更多的数据。
群集可以承载的分区数取决于群集设置。拥有更强大主机的集群将能够承载更多的主题分区。您可以监视集群上的分区数、代理之间的分区分布以及系统度量(cpu、i/o、网络等),以查看适合您的设置的分区数。在一台主机上托管超过4000个主题分区之后,我们看到了一些问题。通常,将每个主机的分区副本数控制在1000以下是一个好的做法。我们还可以检查控制器日志,看看是否有任何主题元数据更新失败。