java.net.sockettimeoutexception在使用regex筛选器扫描hbase表时

62o28rlo  于 2021-06-07  发布在  Hbase
关注(0)|答案(0)|浏览(196)

由于rowkey的设计,我需要执行一个regex扫描过滤器,据我所知,它扫描该表的整个rowkey集。
我面临的问题是,默认情况下,限制是默认的 callTimeout=60000 我要超越这个价值。
我一直在寻找解决方案,但到目前为止,我发现了两种方法,我想避免:
方法1:修改hbase-client.xm文件,增加以下值:

<property>
    <name>hbase.client.operation.timeout</name>
    <value>1800000</value>
</property>

很遗憾,我没有访问此文件的权限,无论如何,我无法重新启动客户端。
方法2:修改hbase的配置

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;

Configuration conf = HBaseConfiguration.create();

conf.set("hbase.rpc.timeout", "1800000");
conf.set("hbase.client.scanner.timeout.period", "1800000");

这个选项更好,但我需要接触代码和共享api,我更愿意避免。
因此,由于我使用spark submit提交此作业,我想知道是否可以直接在spark submit中修改此参数,而不必修改群集中的配置文件和代码。
找不到答案的相关问题:1和2

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题