kafka生产者,每秒可调整的消息量

svdrlsy4  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(375)

编写具有稳定但可调整输出的apachekafka生产者的最佳方法是什么。
示例:生产者应该每秒向代理发送1000条消息。在运行期间,输出应可调整为每秒10或10000条消息。
一种方法是设置一个调度器,它每秒钟运行一次,并批量发送预定义数量的消息。
另外:由于这个生产者应该是性能测试框架的一部分,所以需要发送的消息量非常大。一个人如何处理很高的负荷?使用akka会有好处吗?
目标语言是scala,但任何语言的示例代码都非常受欢迎。

lh80um4z

lh80um4z1#

在java中,这可以通过在producer代码中使用guava的ratelimiter来实现,其中可以定义producer向kafka代理生成消息的速率。

相关问题