通过两个独立的应用程序(storm和spark流媒体)使用kafka消息

zpgglvta  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(321)

我们开发了一个使用storm的摄取应用程序,它使用kafka消息(一些时间序列传感器数据)并将这些消息保存到cassandra中。我们使用nifi工作流来完成这项工作。
我现在要开发一个单独的spark流应用程序,它需要将这些kafka消息作为源来使用。我想知道为什么当两个应用程序与一个Kafka香奈儿交互时会出现问题?我是否应该将nifi中的kafka消息复制到另一个chanel,以便我的spark流应用程序使用它们,这是一个开销。

mwg9r5ms

mwg9r5ms1#

Kafka文献:
如果所有使用者示例都有不同的使用者组,则每个记录都将广播给所有使用者进程。
在您的例子中,这意味着您的第二个应用程序只需要使用另一个使用者组,这样这两个应用程序将获得相同的消息。

相关问题