我们开发了一个使用storm的摄取应用程序,它使用kafka消息(一些时间序列传感器数据)并将这些消息保存到cassandra中。我们使用nifi工作流来完成这项工作。
我现在要开发一个单独的spark流应用程序,它需要将这些kafka消息作为源来使用。我想知道为什么当两个应用程序与一个Kafka香奈儿交互时会出现问题?我是否应该将nifi中的kafka消息复制到另一个chanel,以便我的spark流应用程序使用它们,这是一个开销。
我们开发了一个使用storm的摄取应用程序,它使用kafka消息(一些时间序列传感器数据)并将这些消息保存到cassandra中。我们使用nifi工作流来完成这项工作。
我现在要开发一个单独的spark流应用程序,它需要将这些kafka消息作为源来使用。我想知道为什么当两个应用程序与一个Kafka香奈儿交互时会出现问题?我是否应该将nifi中的kafka消息复制到另一个chanel,以便我的spark流应用程序使用它们,这是一个开销。
1条答案
按热度按时间mwg9r5ms1#
Kafka文献:
如果所有使用者示例都有不同的使用者组,则每个记录都将广播给所有使用者进程。
在您的例子中,这意味着您的第二个应用程序只需要使用另一个使用者组,这样这两个应用程序将获得相同的消息。