目前,我正在solr中存储ipMap数据,大致如下所示:
Ip-From Ip-To Country
这形成了一个单独的记录(文档)。当我得到一个ip作为输入时,我查询solr以找出它所属的地区(国家)。查询是直接的-ip>=ipfrom和ip<=ipto。响应时间很低(很好),但仍然不能满足我们的要求。无法在内存中缓存此数据,因为它非常庞大。因此,我在考虑为这种类型的数据使用其他存储。hbase是否合适?如果合适,存储和查询此类数据的理想方式是什么?
piztneat1#
我的理解是:你想通过ip(无论是从或到),你想查找国家或地区特定的。对。如果要将hbase用作唯一的数据存储,可以在hbase中存储数据并使用筛选器进行查询。根据我的经验,solr search比hbase更快,可以使用nrt或批索引器(如果您使用cdh)或其他工具来索引hbase数据。此外,怀特弗雷特还提出了这个问题(在我看来这是合乎逻辑的)。除了ipfrom、ipto和country之外,如果您在solr中存储了其他内容,那么hbase可以为您工作。否则就不需要像hbase这样的中间存储,您需要重新访问solr配置。
1条答案
按热度按时间piztneat1#
我的理解是:你想通过ip(无论是从或到),你想查找国家或地区特定的。
对。如果要将hbase用作唯一的数据存储,可以在hbase中存储数据并使用筛选器进行查询。
根据我的经验,solr search比hbase更快,可以使用nrt或批索引器(如果您使用cdh)或其他工具来索引hbase数据。
此外,怀特弗雷特还提出了这个问题(在我看来这是合乎逻辑的)。除了ipfrom、ipto和country之外,如果您在solr中存储了其他内容,那么hbase可以为您工作。否则就不需要像hbase这样的中间存储,您需要重新访问solr配置。