如何提高hbase中的扫描性能?

e4eetjau  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(395)

我使用hbase96进行分析。我通过定义startrow和endrow对行键范围应用单列值过滤器,从hbase获取数据。
扫描单个请求的1500000条记录需要5-6分钟。它不处理并发请求。
如何提高hbase中的扫描性能?
amazone上有3个数据节点和2个主节点。
下面是我的代码

Scan s = new Scan();
s.setCaching(10000);

s.setStartRow(Bytes.toBytes(start_date));
s.setStopRow(Bytes.toBytes(end_date));

FilterList filters = new FilterList(FilterList.Operator.MUST_PASS_ALL);

SingleColumnValueFilter filter = new SingleColumnValueFilter(
Bytes.toBytes("log"), Bytes.toBytes("ad_id"),
CompareOp.EQUAL, Bytes.toBytes(ad_id));
filters.addFilter(filter);

SingleColumnValueFilter filter = new SingleColumnValueFilter(
Bytes.toBytes("log"), Bytes.toBytes("advertiser_id"),
CompareOp.EQUAL, Bytes.toBytes(adver_id));
filters.addFilter(filter);

s.setFilter(filters);

ResultScanner rs = click_table.getScanner(s);

以上代码如何在协处理器中使用?

8fsztsew

8fsztsew1#

如果您想基于列值进行扫描,那么下面是最好的方法
solr(cdh搜索)https://wiki.apache.org/solr/
hindex(基于协处理器的方法)https://communities.intel.com/community/itpeernetwork/datastack/blog/2013/10/30/coprocessor-based-secondary-index-on-hbase

yftpprvb

yftpprvb2#

尝试设置 scan.setCaching(100000) 执行查询时。它指定每个rpc将传输到regionserver的行数。
编辑:也可以尝试设置 batch and buffer sizes 取决于您的网络带宽。每个应用程序都有不同的结构,需要不同的调优参数。。尝试为数据调整这些值。
如果性能仍然相同。。尝试使用并行数据获取。这也许会有帮助。
hth公司

相关问题