Kafka的性能测试

mwecs4sa  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(350)

有人能解释一下Kafka是如何使用,

bin/kafka-consumer-perf-test.sh --topic benchmark-3-3-none \
--zookeeper kafka-zk-1:2181,kafka-zk-2:2181,kafka-zk-3:2181 \
--messages 15000000 \
--threads 1

以及

bin/kafka-producer-perf-test.sh --topic benchmark-1-1-none \
--num-records 15000000 \
--record-size 100 \
--throughput 15000000 \
--producer-props \
acks=1 \
bootstrap.servers=kafka-kf-1:9092,kafka-kf-2:9092,kafka-kf-3:9092 \
buffer.memory=67108864 \
compression.type=none \
batch.size=8196

我不清楚什么是参数,应该得到什么输出。我将如何检查我是否发送1000条消息到Kafka主题,它的性能和确认。

8iwquhpp

8iwquhpp1#

我建议使用一个专门的性能测试工具,比如ApacheJMeter和PepperBox-kafka负载生成器,以便对kafka安装进行负载测试。
通过这种方式,您将能够完全控制线程、启动时间、消息大小和内容等进行加载。您还将能够生成html报告 Jmeter 板,其中包含具有有趣指标的表格和图表。
如有需要,请参阅ApacheKafka-HowtoLoadTestwithJMeter文章以获取更多详细信息。

deikduxw

deikduxw2#

当我们运行这个时,我们得到以下结果,
制作人

| start.time | end.time | compression | message.size | batch.size | total.data.sent.in.MB | MB.sec | total.data.sent.in.nMsg | nMsg.sec | 
 | 2016-02-03 21:38:28:094 | 2016-02-03 21:38:28:449 | 0 | 100 | 200 | 0.01 | 0.0269 | 100 | 281.6901 |

哪里,
•total.data.sent.in.mb以mb为单位显示发送到群集的总数据。
•mb.sec表示每秒传输的数据量(大小吞吐量)。
•total.data.sent.in.nmsg将显示此测试期间发送的消息总数。
•last nmsg.sec显示每秒发送的消息数(吞吐量基于消息计数)
消费者

| start.time | end.time | fetch.size | data.consumed.in.MB | MB.sec | data.consumed.in.nMs | nMsg.sec |
| 2016-02-04 11:29:41:806 | 2016-02-04 11:29:46:854 | 1048576 | 0.0954 | 1.9869 | 1001 | 20854.1667

哪里,
•start.time、end.time将显示测试开始和完成的时间。
•fetch.size**显示单个请求中要获取的数据量。
•data.consumped.in.mb****显示所有已使用消息的大小。
•**mb.sec表示每秒传输的数据量,单位为mb(吞吐量大小)。
•data.consummed.in.nmsg将显示此测试期间消耗的消息总数。
•last nmsg.sec显示一秒钟内消耗的消息数(消息计数的吞吐量)。

相关问题