Akka流Kafka消费者过程并行

tpgth1q7  于 2022-11-06  发布在  Kafka
关注(0)|答案(1)|浏览(194)

我正在使用Akka Kafka连接器开发一个Kafka使用者应用程序。我希望使用者并行处理消息。我应该选择哪个使用者组Choosing a consumer?我如何在使用者端配置并行性?

4ioopgfo

4ioopgfo1#

当你谈论Kafka和 akka 流时,有不同程度的“平行”。
Kafka处理可以通过在一个主题中引入多个分区,并让一个Kafka使用者从一个分区按顺序(即消息按其序列ID或偏移量的顺序)使用所有消息来并行进行。这允许多个使用者同时从多个分区使用消息。
Akka streams有一个非常有序的方法,默认情况下它是以一个接一个的方式进行处理的。但是这当然取决于你的互连流。我强烈建议阅读this来了解线程和并发在akka-stream中是如何使用的。
您的问题的答案是,并行性取决于所有这些方面,而不是选择正确的akka流“消费者”(我在akka流术语中称之为源),它主要定义对处理后可以提交的偏移量的访问。

相关问题