我正在尝试使用spark中的hivecontext访问配置单元中Map的hbase表。但我越来越 ClassNotFoundException 例外。。下面是我的代码。
import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)
val df = sqlContext.sql("select * from dbn.hvehbasetable")我得到下面的错误。。
17/06/22 07:17:30错误日志：initserde中出错：java.lang.classnotfoundexception class org.apache.hadoop.hive.hbase.hbaserde找不到java.lang.classnotfoundexception:class org.apache.hadoop.hive.hbase.hbaserde找不到org.apache.hadoop.conf.configuration.getclassbyname（configuration）。java:2120)在org.apache.hadoop.hive.metastore.metastoreutils.getdeserializer（metastoreutils。java:385)位于org.apache.hadoop.hive.ql.metadata.table.getdeserializerfrommetastore（表。java:276)位于org.apache.hadoop.hive.ql.metadata.table.getdeserializer（表。java:258)在org.apache.hadoop.hive.ql.metadata.table.getcols（表。java:605)在org.apache.spark.sql.hive.client.clientwrapper$$anonfun$gettableoption$1$$anonfun$3.apply（客户端 Package 器）。scala:342)在org.apache.spark.sql.hive.client.clientwrapper$$anonfun$gettableoption$1$$anonfun$3.apply（clientwrapper）上。scala:337)在scala.option.map（option。scala:145)在org.apache.spark.sql.hive.client.clientwrapper$$anonfun$gettableoption$1.apply（客户端 Package 器）。scala:337)位于org.apache.spark.sql.hive.client.clientwrapper$$anonfun$gettableoption$1.apply（clientwrapper）。scala:332)在org.apache.spark.sql.hive.client.clientwrapper$$anonfun$和hivestate$1.apply（clientwrapper。scala:290)在org.apache.spark.sql.hive.client.clientwrapper.liftedtree1$1（clientwrapper。scala:237)
谁能帮我导入哪个类来读取hbase表。
1条答案
按热度按时间tcbh2hod1#
我想，你需要补充一下
hive-hbase-handler如果您还没有这样做的话，可以在classpath/auxpath中使用jar。从这里获取你的版本。
如果这有帮助，请告诉我。干杯。