如何连接azure机器学习和spark streaming或apache storm

hlswsv35  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(402)

有没有可能从spark streaming或apache storm中获取数据流到azure机器学习中?在reader选项中,有一个从配置单元数据库读取数据的输入

但是如何从spark或storm中获得实时的数据流,例如实时欺诈检测

nle07wnf

nle07wnf1#

我理解用开源storm或spark来做这件事的愿望。
但我也想提供100%的azure解决方案,因为就我个人而言,我发现它是一个很好的方法,可以快速地用流数据做许多“简单”的事情。
首先,我们有服务总线,它可以包含事件中心。事件中心是一个管理良好的队列,在这里可以将数据事件流到云中。队列具有暂停和倒带功能,因此如果需要修改使用者,可以确保不会丢失数据。您还可以将队列的内存设置为7天(这比仅存储24小时的数据要贵一些)。
一旦数据进入事件中心,就可以使用azure stream analytics代替storm或spark从队列中弹出数据。流分析使用sql查询队列。一个附加输入和输出数据源。输入可以是事件中心、blob,甚至是引用数据集。输出可以包括另一个事件中心、azure blob、azure表、sql数据库,甚至powerbi中的实时可视化。流分析,有一个称为“流单元”的缩放单元,其中每个单元等于1 mb/s的处理带宽。你只需要为你处理的数据付费,所以如果你的数据流非常流畅,你就不需要付费,不像在云中使用storm或spark。流分析甚至可以处理格式完全不同的消息,不过我建议至少有一个字段具有消息类型的id。我知道,将流数据存储到blob中的基本流分析查询可能如下所示 Select * from EventHub into Blob 在流分析中,可以将azure机器学习web服务 Package 为一个函数。这允许你打电话给反洗钱和得分你流数据实时。stream analytics能够巧妙地创建反洗钱电话的微博客,这意味着它可以在一次反洗钱电话中为多达200个决策打分。只要确保你已经扩展了你的amlweb服务来跟上这个流。
我希望这被看作是一个真正的答案的愿望的问题,但在披露我确实为微软工作的这些产品,但希望使这比销售宣传更信息。

2j4z5cfb

2j4z5cfb2#

要进行实时欺诈检测,通常您将在azure ml上创建一个模型,然后将该模型发布到oweb服务,然后在spark或storm系统上按顺序调用该web服务(例如,在商业网站上进行的支付),然后您将立即得到关于您在web服务调用中发送的实际参数的答案。

相关问题