在hbase中,大表的存在会影响其他小表的性能吗?

vxqlmq5t  于 2021-06-07  发布在  Hbase
关注(0)|答案(1)|浏览(476)

在我们较低的环境中,我们有一个包含100000行的表,直接扫描这个表每秒可以返回2800行。在我们的生产环境中,一个表有100000行,另一个表有大约40亿行,扫描较小的表每秒只产生1000行。在这两种情况下,都没有其他活动在进行,那么,是因为存在大型表才导致业绩下滑吗?
两个表都有一个列族,大表有400列,但一个记录只填充其中的一列。较小的表只有一列,并且该列总是填充的。

bfnvny8b

bfnvny8b1#

您可以尝试指定hbase为中的扫描分配多少资源 hbase-site.xml . 你可以分两步来完成:1。指定分配给读(而不是写)2的资源百分比。指定分配给扫描(而不是gets)的读取资源百分比
在下面的示例中,整个集群中有96个CPU。你把他们80%的注意力放在阅读上,然后80%的注意力放在扫描上。
看看这对你有没有影响。

<property>
        <name>hbase.regionserver.handler.count</name>
        <value>96</value> <!-- roughly # of CPUs in the whole cluster -->
    </property>
    <property>
        <name>hbase.ipc.server.callqueue.read.ratio</name>
        <value>0.8</value>
    </property>
    <property>
        <name>hbase.ipc.server.callqueue.scan.ratio</name>
        <value>0.8</value>
    </property>

相关问题