Kafka的消费者跟不上一些经纪人,而不是其他经纪人

7lrncoxx  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(167)

我有一个主题,其中6个分区分布在3个代理上(即每个代理2个分区)。
我在6个独立的工作节点上有消费者(使用storm)。
分区都接受20mb/s的消息。
2个分区能够向2个节点上的用户输出20mb/s,但其他2个分区只能管理~15Mb/s。
文件缓存工作正常,没有任何代理上的直接磁盘读取。
分区的偏移量跟踪由使用者完成(即manualpartitionassignment,不向kafka或zookeeper提交任何内容)。
是什么导致4个分区的2个代理上出现明显的内部延迟?在所有3个代理的jvm中,负载配置文件、gc等似乎都是相似的。我正在通过jmx mbean监视fetch consumer操作等的所有度量,但无法弄清楚这一点。有什么建议吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题