就目前的情况来看,这个问题并不适合我们的问答形式。我们希望答案能得到事实、参考资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或广泛讨论。如果您觉得这个问题可以改进,并可能重新打开,请访问帮助中心寻求指导。
7年前关门了。
我在找.net分布式map/reduce框架。我打算使用它进行实时数据查询,并在多个节点上并行处理查询。我目前正在使用wcf进行web层和应用层之间的通信。
例如,如果我有5个节点有内存中的数据。如果我给5个节点传递一个过滤器。对节点拥有的数据块执行过滤,结果被还原回最终答案。
只是想知道是否已经有一个框架,可以Map工作和减少结果回来。我看起来更像风暴的光环(twitter实时Map/reduce)。因为很多并发症不能使用nimbus。Zookeeper的开销太大了。
我尝试使用框架实现以下功能1)将作业(主要是发送到所有可用节点的请求)Map到可用节点并减少结果。2) 在故障转移时,将作业Map到新节点。3) 管理群集(如果某个节点已关闭(请将其从可用服务器列表中删除)
数据将在内存中,所以我不需要一个分布式文件系统。一个带有wcf作为底层通信的.net将是理想的,但是如果有其他框架(任何语言)请告诉我。
任何帮助(框架,代码项目,研究论文,实际代码:))将不胜感激。
1条答案
按热度按时间zysjyyx41#
不知道你对nimbus/zookeeper的评论是什么意思,因为它们是管理组件。
storm听起来确实适合您的用例,但像hazelcast这样的其他人也是如此。我需要更多关于你需要的信息,看看哪种解决方案可能是合适的。
我想其中一个重要的问题就是你说的实时是什么意思。如果你只是需要短的响应时间和大量的数据,hazelcast可能更好。如果有非结构化数据需要解析/处理并快速提供给用户,那么storm可能更适合。