解决方案体系结构kafka

bihw5rsg  于 2021-06-04  发布在  Kafka
关注(0)|答案(3)|浏览(440)

我正在与第三方供应商谁,我要求提供我的网站生成的事件
供应商建议使用Kafka流式传输事件。。。为什么不。。。
在我这边(客户端),我运行的是100%的mssql/windows生产环境,内部业务部门希望在网站活动上有kpi和 Jmeter 板
现在的问题是-什么样的体系结构可以支持poc,这样我一方面可以管理输入,另一方面可以创建数据集市来满足业务需求?

bqujaahr

bqujaahr1#

建筑可以是这样的。应用程序将事件流式传输到Kafka。您可以编写一个服务,从kafka读取数据,进行转换并写入数据库。然后您可以在db上构建 Jmeter 板。
或者,您也可以在ElasticSearch中填充索引,并构建kibana Jmeter 板。

pw136qt2

pw136qt22#

我的建议是 Lambda 满足实时和批处理需求的体系结构:
架构:

lambda体系结构通过利用批处理和流处理方法来处理大量数据。
该体系结构试图通过使用批处理来平衡延迟、吞吐量和容错性,以提供全面和准确的批处理数据视图,同时使用实时流处理来提供在线数据视图。
另一种解决方案:

llew8vvj

llew8vvj3#

不清楚你所说的“网站事件”是什么意思。您的kafka生产者通常是服务器端组件,当您发出api请求时,您会将kafka生产者事件放在这些请求和数据库调用之间。如果任何第三方能够立即做到这一点,我会感到惊讶
也许你在找https://divolte.io/
您还可以使用cdc产品将事件从数据库中流出来

相关问题