错误:org.apache.hadoop.hbase.notservingregionexception

f1tvaqid  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(244)

我构建了一个JavaSpark(2.4.5)应用程序。我使用hbase(2.2.4)作为db。我的应用程序在小数据40k条目的情况下成功运行,但当我尝试在大数据、几百万条目的情况下运行应用程序时,出现以下错误:
2021-03-08t12:10:47.989z,rpcretryingcaller{globalstarttime=161520544780,pause=100,maxattempts=2},org.apache.hadoop.hbase.notservingregionexception:org.apache.hadoop.hbase.notservingregionexception:my table,,1615204458781.aafa9cb897f826c8b6e2d43ff40e1051。ip-10-0-0-211.eu-west-1.compute.internal,16020上没有联机,1613637437283,位于org.apache.hadoop.hbase.regionserver.hregionserver.getregionbyencodedname(hregionserver)。java:3387)在org.apache.hadoop.hbase.regionserver.hregionserver.getregion(hregionserver。java:3364)在org.apache.hadoop.hbase.regionserver.rsrpcservices.getregion(rsrpcservices。java:1467)在org.apache.hadoop.hbase.regionserver.rsrpcservices.mutate(rsrpcservices。java:2869)在org.apache.hadoop.hbase.shaded.protobuf.generated.clientprotos$clientservice$2.callblockingmethod(clientprotos。java:42276)在org.apache.hadoop.hbase.ipc.rpcserver.call(rpcserver。java:418)在org.apache.hadoop.hbase.ipc.callrunner.run(callrunner。java:133)在org.apache.hadoop.hbase.ipc.rpcexecutor$handler.run(rpcexecutor。java:338)在org.apache.hadoop.hbase.ipc.rpcexecutor$handler.run(rpcexecutor。java:318)
在org.apache.hadoop.hbase.client.rpcretryingcallerimpl.callwithretries(rpcretryingcallerimpl。java:145)在org.apache.hadoop.hbase.client.htable.put(htable。java:540)
我知道hbase会将一个表拆分为多个区域,一旦它达到某个阈值,似乎在表拆分为多个区域之后,对某些值的操作就不会成功,因为这些值位于其他区域。
我怎么解决这个问题?
我的应用程序在aws emr上运行一个主节点和两个执行器。spark、hbase和zookeeper安装在我的机器上。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题