有没有可能限制不良查询对hbase集群的影响?如果是,需要实现什么?我是否需要kerberos来识别用户并限制其查询的影响,或者为他们分配资源?来自phoenix的糟糕查询可能会杀死整个hbase集群,而这正是我真正想要改变的。我将非常感谢在这个主题的任何提示。
643ylb081#
在2.0以前的版本中运行olap查询时,我们在splice machine上遇到了类似的问题。在2.0中,我们引入了一个在spark上实现的新执行引擎,它使用混合扫描仪,直接从hfiles读取数据,并将其与来自hbase memstore的数据合并,这样我们就可以将这种大型扫描对区域服务器的影响降到最低,因为我们只访问hbase的内存数据。您可以查看我们是如何在存储库中实现它的。主要类是splitregionscanner和memstoreawareobserver。
1条答案
按热度按时间643ylb081#
在2.0以前的版本中运行olap查询时,我们在splice machine上遇到了类似的问题。在2.0中,我们引入了一个在spark上实现的新执行引擎,它使用混合扫描仪,直接从hfiles读取数据,并将其与来自hbase memstore的数据合并,这样我们就可以将这种大型扫描对区域服务器的影响降到最低,因为我们只访问hbase的内存数据。
您可以查看我们是如何在存储库中实现它的。主要类是splitregionscanner和memstoreawareobserver。