我正在与第三方供应商谁,我要求提供我的网站生成的事件供应商建议使用Kafka流式传输事件。。。为什么不。。。在我这边(客户端),我运行的是100%的mssql/windows生产环境,内部业务部门希望在网站活动上有kpi和 Jmeter 板现在的问题是-什么样的体系结构可以支持poc,这样我一方面可以管理输入,另一方面可以创建数据集市来满足业务需求?
bqujaahr1#
建筑可以是这样的。应用程序将事件流式传输到Kafka。您可以编写一个服务,从kafka读取数据,进行转换并写入数据库。然后您可以在db上构建 Jmeter 板。或者,您也可以在ElasticSearch中填充索引,并构建kibana Jmeter 板。
pw136qt22#
我的建议是 Lambda 满足实时和批处理需求的体系结构:架构:lambda体系结构通过利用批处理和流处理方法来处理大量数据。该体系结构试图通过使用批处理来平衡延迟、吞吐量和容错性,以提供全面和准确的批处理数据视图,同时使用实时流处理来提供在线数据视图。另一种解决方案:
Lambda
llew8vvj3#
不清楚你所说的“网站事件”是什么意思。您的kafka生产者通常是服务器端组件,当您发出api请求时,您会将kafka生产者事件放在这些请求和数据库调用之间。如果任何第三方能够立即做到这一点,我会感到惊讶也许你在找https://divolte.io/您还可以使用cdc产品将事件从数据库中流出来
3条答案
按热度按时间bqujaahr1#
建筑可以是这样的。应用程序将事件流式传输到Kafka。您可以编写一个服务,从kafka读取数据,进行转换并写入数据库。然后您可以在db上构建 Jmeter 板。
或者,您也可以在ElasticSearch中填充索引,并构建kibana Jmeter 板。
pw136qt22#
我的建议是
Lambda
满足实时和批处理需求的体系结构:架构:
lambda体系结构通过利用批处理和流处理方法来处理大量数据。
该体系结构试图通过使用批处理来平衡延迟、吞吐量和容错性,以提供全面和准确的批处理数据视图,同时使用实时流处理来提供在线数据视图。
另一种解决方案:
llew8vvj3#
不清楚你所说的“网站事件”是什么意思。您的kafka生产者通常是服务器端组件,当您发出api请求时,您会将kafka生产者事件放在这些请求和数据库调用之间。如果任何第三方能够立即做到这一点,我会感到惊讶
也许你在找https://divolte.io/
您还可以使用cdc产品将事件从数据库中流出来