编写具有稳定但可调整输出的apachekafka生产者的最佳方法是什么。
示例:生产者应该每秒向代理发送1000条消息。在运行期间,输出应可调整为每秒10或10000条消息。
一种方法是设置一个调度器,它每秒钟运行一次,并批量发送预定义数量的消息。
另外:由于这个生产者应该是性能测试框架的一部分,所以需要发送的消息量非常大。一个人如何处理很高的负荷?使用akka会有好处吗?
目标语言是scala,但任何语言的示例代码都非常受欢迎。
编写具有稳定但可调整输出的apachekafka生产者的最佳方法是什么。
示例:生产者应该每秒向代理发送1000条消息。在运行期间,输出应可调整为每秒10或10000条消息。
一种方法是设置一个调度器,它每秒钟运行一次,并批量发送预定义数量的消息。
另外:由于这个生产者应该是性能测试框架的一部分,所以需要发送的消息量非常大。一个人如何处理很高的负荷?使用akka会有好处吗?
目标语言是scala,但任何语言的示例代码都非常受欢迎。
1条答案
按热度按时间lh80um4z1#
在java中,这可以通过在producer代码中使用guava的ratelimiter来实现,其中可以定义producer向kafka代理生成消息的速率。