使用mapreduce将csv批量加载到hbase中

owfi6suc  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(519)

我正在尝试按此链接中的指导将数据从csv批量加载到hbase表:http://www.thecloudavenue.com/2013/04/bulk-loading-data-in-hbase.html
我已经创建了代码的jar,并使用以下命令在终端中运行:

hadoop jar ~/hadoop/BLoad.jar anoop.BLDriver /input/path /op/path NBAFinal2010

但在执行过程中,我发现Zookeeper犯了以下错误:

15/09/23 22:29:45 INFO client.RpcRetryingCaller: Call exception, tries=10, retries=35, started=48674 ms ago, cancelled=false, msg=

这种情况持续了35次。之后我得到:

Wed Sep 23 22:28:57 IST 2015,       RpcRetryingCaller{globalStartTime=1443027536828, pause=100, retries=35}, org.apache.hadoop.hbase.MasterNotRunningException: 
com.google.protobuf.ServiceException: org.apache.hadoop.hbase.ipc.FailedServerException: This server is in the failed servers list: Anoop-PC/127.0.1.1:16000

也,

Wed Sep 23 22:37:48 IST 2015, RpcRetryingCaller{globalStartTime=1443027536828, pause=100, retries=35}, 
org.apache.hadoop.hbase.MasterNotRunningException: com.google.protobuf.ServiceException: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Lorg/apache/hadoop/net/SocketInputWrapper;

at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:147)
at org.apache.hadoop.hbase.client.HTable.executeMasterCallable(HTable.java:596)
at org.apache.hadoop.hbase.client.HTable.getTableDescriptor(HTable.java:572)
at org.apache.hadoop.hbase.mapreduce.HFileOutputFormat.configureIncrementalLoad(HFileOutputFormat.java:91)
at anoop.hbase.BLDriver.run(BLDriver.java:60)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at anoop.hbase.BLDriver.main(BLDriver.java:32)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:160)

不知道发生了什么。请帮忙。提前谢谢!

pdtvr36n

pdtvr36n1#

这个错误清楚地表明主机没有运行。zookeeper位于hmaster和region服务器之间。所以问题似乎是主人和Zookeeper之间的联系。验证hbase配置设置。一些链接以不同的方式提供帮助和解决。不确定如何安装和配置hbase。所以你可以使用这里的任何链接
链接1链接2链接3链接4

相关问题