我有各种各样的应用服务器(例如web应用程序),我也一直在玩hadoop与hbase, Impala ,Hive等,我可以得到结果,我正在寻找使用命令行或使用网页界面,如色调。现在,如何将hadoop作为后端与当前的应用程序集成,以取代mysql、mssql、oracle等后端解决方案。?p、 我知道很多都是用hadoop进行批处理的,但是hbase确实提供了一些近乎实时的分析。即使是批处理,我想让用户开始一些分析和回来,并在我自己的前端应用程序中查看结果。
guz6ccqo1#
每个框架都提供了多个相互不兼容的接口和自己的api。看一看spring数据,它使使用多个数据库(rdbms和nosql)变得很容易。这里(1,2)是一些关于spring数据的书。我没有关注spring数据,所以不确定它周围的社区有多活跃。也许有人可以补充一下。
zlhcx6iw2#
一种常见的模式有很多变体,它涉及到对新摄取的数据(或者storm拓扑或kafka使用者)反复执行的hadoop工作流来处理数据并将其缓存在nosql数据库中。如果希望以更细粒度存储结果,可以使用cassandra或hbase;如果希望获得更粗粒度的结果,可以使用elasticsearch或mongodb。然后,当一个请求进入您的webapi层时,您的逻辑可以从cachedb中提取最新的、必要的数据,可以选择将其转换为正确的格式,应用任何最后一分钟的计算,并将数据作为json对象返回给客户机。
2条答案
按热度按时间guz6ccqo1#
每个框架都提供了多个相互不兼容的接口和自己的api。看一看spring数据,它使使用多个数据库(rdbms和nosql)变得很容易。这里(1,2)是一些关于spring数据的书。
我没有关注spring数据,所以不确定它周围的社区有多活跃。也许有人可以补充一下。
zlhcx6iw2#
一种常见的模式有很多变体,它涉及到对新摄取的数据(或者storm拓扑或kafka使用者)反复执行的hadoop工作流来处理数据并将其缓存在nosql数据库中。如果希望以更细粒度存储结果,可以使用cassandra或hbase;如果希望获得更粗粒度的结果,可以使用elasticsearch或mongodb。然后,当一个请求进入您的webapi层时,您的逻辑可以从cachedb中提取最新的、必要的数据,可以选择将其转换为正确的格式,应用任何最后一分钟的计算,并将数据作为json对象返回给客户机。