我正在尝试扫描bigtable上的起始行和结束行。扫描之间的元素约为100k。我想让他们成批,我可以在hbase与使用 setCaching(500)
.
在bigtable,似乎 setCaching
被忽略,并尝试在1 rpc中获取整个结果集。如何实现与hbase类似的功能?
我正在使用java驱动程序 bigtable-hbase-1.1
和版本 1.0.0-pre3
bigtable配置:
Configuration conf = new Configuration();
conf.set("google.bigtable.buffered.mutator.throttling.enable", "false");
conf.set("google.bigtable.rpc.timeout.ms", "1500000");
conf.set("google.bigtable.grpc.read.partial.row.timeout.ms","1500000");
conf.set("google.bigtable.long.rpc.timeout.ms", "1500000");
conf.set("google.bigtable.grpc.retry.deadlineexceeded.enable", "false");
conf.set("google.bigtable.buffered.mutator.max.inflight.rpcs", "500");
conf.set("google.bigtable.bulk.max.row.key.count", "500");
Configuration conff = BigtableConfiguration.configure(conf,projectID,instanceID);
connection = BigtableConfiguration.connect(conff);
扫描仪配置:
byte[] start = "prefix".getbytes() ;
byte[] end = Bytes.add("prefix".getbytes(),(byte))0xff);
Scan scan = new Scan(start, end);
输出的预期行数约为100k。
1条答案
按热度按时间cyvaqqii1#
读取行时不必担心批处理。bigtable响应流化,并具有反压力意识。我们也依赖grpc来缓冲流的块。以下是grpc流媒体简介的链接:https://grpc.io/docs/guides/concepts.html#server-流式rpc
可以试试这个示例代码,让我知道它是否工作(即没有超过截止日期的错误)。如果示例代码有效,请修改它以扫描您自己的数据并确保它仍然有效。如果有什么问题,请告诉我。
pom.xml文件:
java 语: