如何减少全表扫描对hbase群集的影响?

rvpgvaaj  于 2021-06-10  发布在  Hbase
关注(0)|答案(1)|浏览(460)

有没有可能限制不良查询对hbase集群的影响?
如果是,需要实现什么?
我是否需要kerberos来识别用户并限制其查询的影响,或者为他们分配资源?
来自phoenix的糟糕查询可能会杀死整个hbase集群,而这正是我真正想要改变的。我将非常感谢在这个主题的任何提示。

643ylb08

643ylb081#

在2.0以前的版本中运行olap查询时,我们在splice machine上遇到了类似的问题。在2.0中,我们引入了一个在spark上实现的新执行引擎,它使用混合扫描仪,直接从hfiles读取数据,并将其与来自hbase memstore的数据合并,这样我们就可以将这种大型扫描对区域服务器的影响降到最低,因为我们只访问hbase的内存数据。
您可以查看我们是如何在存储库中实现它的。主要类是splitregionscanner和memstoreawareobserver。

相关问题