配置单元hbase集成引发classnotfoundexception null：：字符变化

mrfwxfqh 于 2021-06-09 发布在 Hbase

关注(0)|答案(1)|浏览(442)

跟随此链接https://cwiki.apache.org/confluence/display/hive/hbaseintegration#hbaseintegration-HiveMapToHBaseColumn系列
我正在尝试集成hive和hbase，我在hive-site.xml中有以下配置：

<property>
  <name>hive.aux.jars.path</name>
  <value>
    file:///$HIVE_HOME/lib/hive-hbase-handler-2.0.0.jar,
    file:///$HIVE_HOME/lib/hive-ant-2.0.0.jar,
    file:///$HIVE_HOME/lib/protobuf-java-2.5.0.jar,
    file:///$HIVE_HOME/lib/hbase-client-1.1.1.jar,
    file:///$HIVE_HOME/lib/hbase-common-1.1.1.jar,
    file:///$HIVE_HOME/lib/zookeeper-3.4.6.jar,
    file:///$HIVE_HOME/lib/guava-14.0.1.jar
  </value>
</property>

然后在hbase中创建一个名为“ts:testtable”的表：

hbase> create 'ts:testTable','pokes'
hbase> put 'ts:testTable', '10000', 'pokes:value','val_10000'
hbase> put 'ts:testTable', '10001', 'pokes:value','val_10001'
...

hbase> scan  'ts:testTable'
ROW                       COLUMN+CELL
 10000                    column=pokes:value, timestamp=1462782972084, value=val_10000
 10001                    column=pokes:value, timestamp=1462783514212, value=val_10001
....

然后在配置单元中创建外部表：

Hive> CREATE EXTERNAL TABLE hbase_test_table(key int, value string )
       STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
       WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, pokes:value")
       TBLPROPERTIES ("hbase.table.name" = "ts:testTable",
       "hbase.mapred.output.outputtable" = "ts:testTable");

到现在为止，一直都还不错。但当我试图从测试表中选择数据时，引发了异常：

Hive> select * from hbase_test_table;
FAILED: RuntimeException java.lang.ClassNotFoundException: NULL::character varying
Error: Error while compiling statement: FAILED: RuntimeException java.lang.ClassNotFoundException: NULL::character varying (state=42000,code=40000)

我遗漏了什么吗？
我正在用hbase 1.2.1试用hive 2.0.0

Hive hbase integration classnotfoundexception varying

来源：https://stackoverflow.com/questions/37111398/hive-hbase-integration-throws-classnotfoundexception-nullcharacter-varying

1条答案

按热度按时间

ijxebb2r1#

好吧，我想出来了，“null：：character variang”不是hive的一部分，它来自postgresql，因为我将它用作metastore的后端。但问题是hive无法识别来自postgresql的这个异常。hive 2.0.0的代码如下：

300: if (inputFormatClass == null) {
301:   try {
302:     String className = tTable.getSd().getInputFormat();
303:     if (className == null) {
304:       if (getStorageHandler() == null) {
305:         return null;
306:       }
307:      inputFormatClass = getStorageHandler().getInputFormatClass();
308:  } else {
309:  inputFormatClass = (Class<? extends InputFormat>)
310:    Class.forName(className, true, Utilities.getSessionSpecifiedClassLoader());
    }

第302行将不会返回null，这应该是。因此，行310将尝试在中加载一个不存在的类。这就是程序失败的原因。
我相信这是一个兼容的错误，修复它的方法是改变我讨厌的数据库。所以我把302换成了

if (className == null || className.toLowerCase().startsWith("null::")) {

对getoutputformat（）方法执行相同的操作，然后重新编译jar，就是这样。

赞(0）回复(0）举报 2021-06-09

我来回答

配置单元hbase集成引发classnotfoundexception null：：字符变化

1条答案

相关问题

热门标签

最新问答