我在做一个项目，我必须处理来自kafka cluter的数据，处理后发送给mongodb。应用程序应该可以部署在关键的云基础上。在互联网上做了一些研究之后，我发现springclouddataflow工具箱非常有趣，因为它可以部署在pcf中。我想知道如何使用它来创建我们的实时流媒体管道。目前，我正在考虑使用kafka流和spring云流来处理和转换主题流，但我不知道如何将其集成到scdf中，以及如何将这些流发送到mongodb。如果我的问题不清楚，我很抱歉，我完全不熟悉这些框架。
提前谢谢
我在做一个项目，我必须处理来自kafka cluter的数据，处理后发送给mongodb。应用程序应该可以部署在关键的云基础上。在互联网上做了一些研究之后，我发现springclouddataflow工具箱非常有趣，因为它可以部署在pcf中。我想知道如何使用它来创建我们的实时流媒体管道。目前，我正在考虑使用kafka流和spring云流来处理和转换主题流，但我不知道如何将其集成到scdf中，以及如何将这些流发送到mongodb。如果我的问题不清楚，我很抱歉，我完全不熟悉这些框架。
提前谢谢
1条答案
按热度按时间ubof19bj1#
您可以使用scdf中的命名目的地支持直接使用kafka或任何其他spring云流支持的messagebroker实现中的事件。
现在，对于写入部分，您可以使用我们构建、维护和发布的现成mongodb sink应用程序。
如果在编写mongodb之前必须进行一些处理，那么可以使用所需的绑定器实现创建一个定制spring云流应用程序[请参阅：dev guide/docs]。
把这些放在一起，如果我们假设你有来自Kafka主题的事件
Customers，自定义处理器对每个接收到的有效负载进行一些转换（假设处理器的名称为CustomerTransformer)，最后是mongodb的编写部分。以下是从scdf的 Jmeter 板设计的流数据管道用例：