在我们较低的环境中,我们有一个包含100000行的表,直接扫描这个表每秒可以返回2800行。在我们的生产环境中,一个表有100000行,另一个表有大约40亿行,扫描较小的表每秒只产生1000行。在这两种情况下,都没有其他活动在进行,那么,是因为存在大型表才导致业绩下滑吗?两个表都有一个列族,大表有400列,但一个记录只填充其中的一列。较小的表只有一列,并且该列总是填充的。
bfnvny8b1#
您可以尝试指定hbase为中的扫描分配多少资源 hbase-site.xml . 你可以分两步来完成:1。指定分配给读(而不是写)2的资源百分比。指定分配给扫描(而不是gets)的读取资源百分比在下面的示例中,整个集群中有96个CPU。你把他们80%的注意力放在阅读上,然后80%的注意力放在扫描上。看看这对你有没有影响。
hbase-site.xml
<property> <name>hbase.regionserver.handler.count</name> <value>96</value> <!-- roughly # of CPUs in the whole cluster --> </property> <property> <name>hbase.ipc.server.callqueue.read.ratio</name> <value>0.8</value> </property> <property> <name>hbase.ipc.server.callqueue.scan.ratio</name> <value>0.8</value> </property>
1条答案
按热度按时间bfnvny8b1#
您可以尝试指定hbase为中的扫描分配多少资源
hbase-site.xml
. 你可以分两步来完成:1。指定分配给读(而不是写)2的资源百分比。指定分配给扫描(而不是gets)的读取资源百分比在下面的示例中,整个集群中有96个CPU。你把他们80%的注意力放在阅读上,然后80%的注意力放在扫描上。
看看这对你有没有影响。