由于rowkey的设计,我需要执行一个regex扫描过滤器,据我所知,它扫描该表的整个rowkey集。
我面临的问题是,默认情况下,限制是默认的 callTimeout=60000
我要超越这个价值。
我一直在寻找解决方案,但到目前为止,我发现了两种方法,我想避免:
方法1:修改hbase-client.xm文件,增加以下值:
<property>
<name>hbase.client.operation.timeout</name>
<value>1800000</value>
</property>
很遗憾,我没有访问此文件的权限,无论如何,我无法重新启动客户端。
方法2:修改hbase的配置
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.rpc.timeout", "1800000");
conf.set("hbase.client.scanner.timeout.period", "1800000");
这个选项更好,但我需要接触代码和共享api,我更愿意避免。
因此,由于我使用spark submit提交此作业,我想知道是否可以直接在spark submit中修改此参数,而不必修改群集中的配置文件和代码。
找不到答案的相关问题:1和2
暂无答案!
目前还没有任何答案,快来回答吧!