有人能解释一下Kafka是如何使用,
bin/kafka-consumer-perf-test.sh --topic benchmark-3-3-none \
--zookeeper kafka-zk-1:2181,kafka-zk-2:2181,kafka-zk-3:2181 \
--messages 15000000 \
--threads 1
以及
bin/kafka-producer-perf-test.sh --topic benchmark-1-1-none \
--num-records 15000000 \
--record-size 100 \
--throughput 15000000 \
--producer-props \
acks=1 \
bootstrap.servers=kafka-kf-1:9092,kafka-kf-2:9092,kafka-kf-3:9092 \
buffer.memory=67108864 \
compression.type=none \
batch.size=8196
我不清楚什么是参数,应该得到什么输出。我将如何检查我是否发送1000条消息到Kafka主题,它的性能和确认。
2条答案
按热度按时间8iwquhpp1#
我建议使用一个专门的性能测试工具,比如ApacheJMeter和PepperBox-kafka负载生成器,以便对kafka安装进行负载测试。
通过这种方式,您将能够完全控制线程、启动时间、消息大小和内容等进行加载。您还将能够生成html报告 Jmeter 板,其中包含具有有趣指标的表格和图表。
如有需要,请参阅ApacheKafka-HowtoLoadTestwithJMeter文章以获取更多详细信息。
deikduxw2#
当我们运行这个时,我们得到以下结果,
制作人
哪里,
•total.data.sent.in.mb以mb为单位显示发送到群集的总数据。
•mb.sec表示每秒传输的数据量(大小吞吐量)。
•total.data.sent.in.nmsg将显示此测试期间发送的消息总数。
•last nmsg.sec显示每秒发送的消息数(吞吐量基于消息计数)
消费者
哪里,
•start.time、end.time将显示测试开始和完成的时间。
•fetch.size**显示单个请求中要获取的数据量。
•data.consumped.in.mb****显示所有已使用消息的大小。
•**mb.sec表示每秒传输的数据量,单位为mb(吞吐量大小)。
•data.consummed.in.nmsg将显示此测试期间消耗的消息总数。
•last nmsg.sec显示一秒钟内消耗的消息数(消息计数的吞吐量)。