我正在使用dataproc上的pig从bigtable加载数据。我使用下面从dataproc获取的jar文件列表编译java代码。当我运行下面的pig脚本时,它尝试与bigtable建立连接时失败。
错误消息是:
Bigtable does not support managed connections.
问题:
有解决这个问题的办法吗?
这是一个已知的问题,是否有计划来修复或调整?
有没有一种不同的方法来实现多重扫描作为pig的加载函数,它将与bigtable一起工作?
细节:
jar文件:
hadoop-common-2.7.3.jar
hbase-client-1.2.2.jar
hbase-common-1.2.2.jar
hbase-protocol-1.2.2.jar
hbase-server-1.2.2.jar
pig-0.16.0-core-h2.jar
下面是一个使用自定义加载函数的简单pig脚本:
%default gte '2017-03-23T18:00Z'
%default lt '2017-03-23T18:05Z'
%default SHARD_FIRST '00'
%default SHARD_LAST '25'
%default GTE_SHARD '$gte\_$SHARD_FIRST'
%default LT_SHARD '$lt\_$SHARD_LAST'
raw = LOAD 'hbase://events_sessions'
USING com.eduboom.pig.load.HBaseMultiScanLoader('$GTE_SHARD', '$LT_SHARD', 'event:*')
AS (es_key:chararray, event_array);
DUMP raw;
我的自定义加载函数hbasemultiscanloader创建一个扫描对象列表,以便对表events\u sessions中的不同数据范围执行多个扫描,这些数据范围由gte和lt之间的时间范围确定,并由shard\u first到shard\u last进行分片。
hbasemultiscanloader扩展了org.apache.pig.loadfunc,因此可以在pig脚本中用作加载函数。当pig运行我的脚本时,它调用loadfunc.getinputformat()。getinputformat()的实现返回自定义类multiscantableinputformat的示例,该类扩展org.apache.hadoop.mapreduce.inputformat。multiscantableinputformat初始化org.apache.hadoop.hbase.client.htable对象以初始化到表的连接。
深入研究hbase客户端源代码,我看到org.apache.hadoop.hbase.client.connectionmanager.getconnectioninternal()调用org.apache.hadoop.hbase.client.connectionmanager.createconnection(),属性“managed”硬编码为“true”。您可以从下面的堆栈轨迹中看到,我的代码(multiscantableinputformat)尝试初始化一个htable对象,该对象调用getconnectioninternal(),而getconnectioninternal()不提供将managed设置为false的选项。沿着堆栈跟踪,您将得到abstractbigtableconnection,它将不接受managed=true,因此导致到bigtable的连接失败。
下面是显示错误的堆栈跟踪:
2017-03-24 23:06:44,890 [JobControl] ERROR com.turner.hbase.mapreduce.MultiScanTableInputFormat - java.io.IOException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)
at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:431)
at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:424)
at org.apache.hadoop.hbase.client.ConnectionManager.getConnectionInternal(ConnectionManager.java:302)
at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:185)
at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:151)
at com.eduboom.hbase.mapreduce.MultiScanTableInputFormat.setConf(Unknown Source)
at com.eduboom.pig.load.HBaseMultiScanLoader.getInputFormat(Unknown Source)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:264)
at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:318)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
at org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob.submit(ControlledJob.java:335)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.pig.backend.hadoop23.PigJobControl.submit(PigJobControl.java:128)
at org.apache.pig.backend.hadoop23.PigJobControl.run(PigJobControl.java:194)
at java.lang.Thread.run(Thread.java:745)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher$1.run(MapReduceLauncher.java:276)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:238)
... 26 more
Caused by: java.lang.IllegalArgumentException: Bigtable does not support managed connections.
at org.apache.hadoop.hbase.client.AbstractBigtableConnection.<init>(AbstractBigtableConnection.java:123)
at com.google.cloud.bigtable.hbase1_2.BigtableConnection.<init>(BigtableConnection.java:55)
... 31 more
2条答案
按热度按时间hjqgdpho1#
我遇到了相同的错误消息:
bigtable不支持托管连接。
然而,根据我的研究,根本原因是
HTable
无法显式构造。改变了施工方式后HTable
由connection.getTable
. 问题解决了。1rhkuytd2#
最初的问题是由于使用过时和不推荐使用的hbase客户机jar和类造成的。
我更新了代码,使用了google提供的最新hbase客户端jar,原来的问题得到了解决。
我仍然会遇到一些zk问题,我仍然没有弄清楚,但这是一个不同的问题的对话。
这一个已经回答了!