我已经为我们的hadoop集群将hortonworks从2.2升级到2.3,并对hue做了所有必要的更改(在hortonworks文档中给出),但是hue客户端在hive浏览器上访问tez时有以下问题,而hive cli上的tez工作得非常好。之前(hdp2.2),tez与hue兼容,但是hue客户端在hdp2.3上与tez有问题吗?
问题1:在将hdp2.2升级到2.3之后,tez仍然在hdfs和本地位置查找hdp2.2libs文件。hdp 2.2位置:
hdfs:/hdp/apps/2.2.9.0-3393
本地文件:/usr/hdp/2.2.9.0-3393
问题1的临时解决方案:将2.3支持文件移到2.2
高密度光纤:
hdfs dfs -cp /hdp/apps/2.3.2.0-2950/tez/tez.tar.gz /hdp/apps/2.2.9.0-3393/tez/
本地文件:
cp /usr/hdp/2.3.2.0-2950/hive/lib/hive-exec-0.14.0.2.2.9.0-3393.jar /usr/hdp/2.2.9.0-3393/hive/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-yarn/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-yarn/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-mapreduce/lib/
从技术上讲,tez必须查找“/usr/hdp/current”目录,即2.3.2.0-2950。
问题2:通过hue在tez上运行hive会出现以下错误:
错误:
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
ERROR : Failed to execute tez graph.
org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. No cluster diagnostics found.
通过一些研究发现,当不需要执行tez来运行hive查询时,hue客户端版本与am版本匹配,而任何需要执行tez的查询hue客户端版本都显示为未知。
当不需要执行tez时,客户端版本和am版本匹配:
为应用程序appattempt\u 1470224940790\u 0082\u000001创建了dagappmaster,versioninfo=[component=tez dag,version=0.7.0.2.3.2.0-2950,revision=4900a9cea70487666ace4c9e490d4d8fc1fee96f,scm url=scm:git:https://git-wip-us.apache.org/repos/asf/tez.git,buildtime=20150930-1859][info][main]| app.dagappmaster |:比较客户端版本与am版本,clientversion=0.7.0.2.3.2.0-2950,amversion=0.7.0.2.3.2.0-2950
启用tez执行时,客户端版本和am版本不匹配:
为应用程序appattempt\u 1470224940790\u 0092\u000001创建了dagappmaster,versioninfo=[component=tez dag,version=0.7.0.2.3.2.0-2950,revision=4900a9cea70487666ace4c9e490d4d8fc1fee96f,scm url=scm:git:https://git-wip-us.apache.org/repos/asf/tez.git,buildtime=20150930-1859]比较客户端版本和am版本,clientversion=unknown,amversion=0.7.0.2.3.2.0-2950[error][main]| app.dagappmaster |:发现不兼容的版本,clientversion=unknown,amversion=0.7.0.2.3.2.0-2950
有没有人能帮助我们找到一个解决方案,当tez通过hdp2.3上的hue启用时,不兼容的版本错误。
暂无答案!
目前还没有任何答案,快来回答吧!