我需要对从物联网传感器获取的数据(cep、异常值检测等)进行一些数据分析
我在网上搜索了一下,根据我们的限制,我可以使用哪种工具:
我团队中的所有开发人员都是c#开发人员
解决方案必须部署在
我发现ApacheStorm是一个很好的解决方案,基于我对它的了解,我们可以从VisualStudio安装azure数据湖工具来开发喷口和螺栓。
我安装了所有的东西,并开始开发一个简单的拓扑结构。问题是拓扑似乎只能部署到azurehdinsights
我的问题是:是否可以将c拓扑部署到不在azure中的storm群集?我想提交我的拓扑提交到风暴码头形象。
1条答案
按热度按时间ippsafx71#
这绝对是可能的。我还没有找到azuredatalake工具的源代码(也许它不是开源的?),但是这里提供了如何用其他语言实现storm拓扑的参考http://storm.apache.org/releases/2.0.0-snapshot/multilang-protocol.html.
这里有一个如何实现多语言拓扑的示例https://github.com/apache/storm/blob/master/examples/storm-starter/src/jvm/org/apache/storm/starter/wordcounttopology.java,它在python中实现了它的一个螺栓。您可能会注意到,在该类的顶部有一个shellbolt,它调用python文件。python文件包含bolt实现https://github.com/apache/storm/blob/master/examples/storm-starter/multilang/resources/splitsentence.py,它在这里使用了针对python的storm multilang实现https://github.com/apache/storm/blob/master/storm-multilang/python/src/main/resources/resources/storm.py.
不幸的是,storm只提供了python、javascript和ruby的 Package 器,但您可以自己编写(如果结果良好,还可以将其贡献给项目)?
如果你不想实现你自己的 Package 器,一个快速的google出现了https://github.com/ziyunhx/storm-net-adapter,我没试过,但值得一试?
你也可以攻击微软,让他们开放数据湖工具的源代码,或者至少为在非azure集群上运行提供支持。他们的工具很可能包含一个针对storm的多语言 Package 器。