spark scala:jnibasedunixgroupsmapping:获取的组时出错:找不到用户名

nr9pn0ug  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(557)

我用scalaide中的spark从本地系统连接到hive(在集群中),最后将hive-site.xml正确地放在spark/conf文件夹和类路径中,可以连接到metastore,但无法访问hive表。
如何更改hivecontext的用户
15/12/22 10:28:42 info parsedriver:解析命令:show tables 15/12/22 10:28:43 info parsedriver:解析完成15/12/22 10:28:45 info metastore:尝试连接到具有uri的metastorethrift://server.com:9083 15/12/22 10:28:46信息jnibasedunixgroupsmapping:获取x的组时出错:找不到用户名。
15/12/22 10:28:46警告用户组信息:没有用户xx可用的组15/12/22 10:28:46信息元存储:已连接到元存储。
线程“main”java.lang.noclassdeffounderror中出现异常:org/apache/tez/dag/api/sessionnotrunning at org.apache.hadoop.hive.ql.session.sessionstate.start(sessionstate)。java:353)在org.apache.spark.sql.hive.hivecontext$$anonfun$4.apply(hivecontext。scala:235)在org.apache.spark.sql.hive.hivecontext$$anonfun$4.apply(hivecontext。scala:231)在scala.option.orelse(选项。scala:257)在org.apache.spark.sql.hive.hivecontext.x$3$lzycompute(hivecontext。scala:231)在org.apache.spark.sql.hive.hivecontext.x$3(hivecontext。scala:229)在org.apache.spark.sql.hive.hivecontext.hiveconf$lzycompute(hivecontext。scala:229)在org.apache.spark.sql.hive.hivecontext.hiveconf(hivecontext。scala:229)在org.apache.spark.sql.hive.hivemetastorecatalog.(hivemetastorecatalog。scala:55)位于org.apache.spark.sql.hive.hivecontext$$anon$1.(hivecontext。scala:253)位于org.apache.spark.sql.hive.hivecontext.catalog$lzycompute(hivecontext)。scala:253)在org.apache.spark.sql.hive.hivecontext.catalog(hivecontext。scala:253)在org.apache.spark.sql.hive.hivecontext$$anon$3.(hivecontext。scala:263)位于org.apache.spark.sql.hive.hivecontext.analyzer$lzycompute(hivecontext)。scala:263)在org.apache.spark.sql.hive.hivecontext.analyzer(hivecontext。scala:262)在org.apache.spark.sql.sqlcontext$queryexecution.analysed$lzycompute(sqlcontext)中。scala:411)在org.apache.spark.sql.sqlcontext$queryexecution.analysed(sqlcontext。scala:411)在org.apache.spark.sql.schemarddlike$class.$init$(schemarddlike。scala:58)在org.apache.spark.sql.schemardd。scala:108)在org.apache.spark.sql.hive.hivecontext.hiveql(hivecontext。scala:102)在org.apache.spark.sql.hive.hivecontext.hql(hivecontext。scala:106) 在com.spark.connecttohadoop.countwords$.main(countwords。scala:50)在com.spark.connecttohadoop.countwords.main(countwords.scala)由以下原因引起:java.lang.classnotfoundexception:org.apache.tez.dag.api.sessionnotrunning at java.net.urlclassloader$1.run(未知源代码)at java.net.urlclassloader$1.run(未知源代码)atjava.net.urlclassloader.findclass(未知源)中的java.security.accesscontroller.doprivileged(本机方法),sun.misc.launcher$appclassloader.loadclass(未知源)中的java.lang.classloader.loadclass(未知源)。。。还有23个

57hvy0tb

57hvy0tb1#

这个答案与你的问题无关,但是,你的问题与所显示的例外无关。。。
hive-site.xml 你提供给spark,改变财产 hive.execution.engine 从“tez”(需要tez运行时)到默认的“mr”。

相关问题