在低速链路上运行kafacat时的性能问题

f3temu5u  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(303)

在librdkafka使用者实现(版本0.11)中,fetch.max.message.bytes参数存在奇怪的性能问题。我使用kafkacat在慢速网络链路(4 mbps)上运行了一些测试,并收到以下结果:
1024字节=1.740s
65536字节=2.670
131072字节=7.070s
当我开始调试协议消息时,我注意到了一种提高rtt值的方法。

|SEND|rdkafka| Sent FetchRequest (v4, 68 bytes @ 0, CorrId 8) 
|RECV|rdkafka| Received FetchResponse (v4, 131120 bytes, CorrId 8, rtt 607.68ms)

fetch.max.message.bytes值的增加似乎会导致非常高的网络饱和,但每个请求只携带一条消息。
另一方面,当我尝试kafka控制台时,消费者一切都按预期运行(我在同一网络链路上每秒获得500条消息的吞吐量)。
有什么想法或建议在哪里看?

vwoqyblh

vwoqyblh1#

您很可能遇到了问题#1384,这是新v0.11.0使用者的一个bug。这个错误在慢速链接或消息集/批处理很少的消息时尤其明显。
修复正在进行中。

相关问题