我在做一个项目,我必须处理来自kafka cluter的数据,处理后发送给mongodb。应用程序应该可以部署在关键的云基础上。在互联网上做了一些研究之后,我发现springclouddataflow工具箱非常有趣,因为它可以部署在pcf中。我想知道如何使用它来创建我们的实时流媒体管道。目前,我正在考虑使用kafka流和spring云流来处理和转换主题流,但我不知道如何将其集成到scdf中,以及如何将这些流发送到mongodb。如果我的问题不清楚,我很抱歉,我完全不熟悉这些框架。
提前谢谢
我在做一个项目,我必须处理来自kafka cluter的数据,处理后发送给mongodb。应用程序应该可以部署在关键的云基础上。在互联网上做了一些研究之后,我发现springclouddataflow工具箱非常有趣,因为它可以部署在pcf中。我想知道如何使用它来创建我们的实时流媒体管道。目前,我正在考虑使用kafka流和spring云流来处理和转换主题流,但我不知道如何将其集成到scdf中,以及如何将这些流发送到mongodb。如果我的问题不清楚,我很抱歉,我完全不熟悉这些框架。
提前谢谢
1条答案
按热度按时间ubof19bj1#
您可以使用scdf中的命名目的地支持直接使用kafka或任何其他spring云流支持的messagebroker实现中的事件。
现在,对于写入部分,您可以使用我们构建、维护和发布的现成mongodb sink应用程序。
如果在编写mongodb之前必须进行一些处理,那么可以使用所需的绑定器实现创建一个定制spring云流应用程序[请参阅:dev guide/docs]。
把这些放在一起,如果我们假设你有来自Kafka主题的事件
Customers
,自定义处理器对每个接收到的有效负载进行一些转换(假设处理器的名称为CustomerTransformer
),最后是mongodb的编写部分。以下是从scdf的 Jmeter 板设计的流数据管道用例: