Spark上的Hive在色调上不起作用

3j86kqsm 于 2021-06-28 发布在 Hive

关注(0)|答案(1)|浏览(484)

我试图触发HiveSpark使用色调接口。当从命令行运行时，这个作业运行得非常好，但是当我尝试从hue运行时，它会抛出异常。在色调方面，我主要尝试了两件事：
1）当我使用set命令给出.hql文件中的所有属性时

set spark.home=/usr/lib/spark;
set hive.execution.engine=spark; 
set spark.eventLog.enabled=true;
add jar /usr/lib/spark/assembly/lib/spark-assembly-1.5.0-cdh5.5.1-hadoop2.6.0-cdh5.5.1.jar;
set spark.eventLog.dir=hdfs://10.11.50.81:8020/tmp/;
set spark.executor.memory=2899102923;

我出错了

ERROR : Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Unsupported execution engine: Spark.  Please set hive.execution.engine=mr)'
org.apache.hadoop.hive.ql.metadata.HiveException: Unsupported execution engine: Spark.  Please set hive.execution.engine=mr

2）当我在色调属性中给出属性时，它只适用于mr引擎，而不适用于spark执行引擎。
任何帮助都将不胜感激

Hive oozie hiveql oozie-coordinator

来源：https://stackoverflow.com/questions/38996715/hive-on-spark-doesnt-work-in-hue

1条答案

按热度按时间

tvmytwxo1#

我通过在oozie中使用shell操作解决了这个问题。这个shell操作调用一个带有我的sql文件的pyspark操作。
即使作业在jobtracker中显示为mr，spark history server也会将其识别为spark操作并实现输出。
shell文件：


# !/bin/bash

export PYTHONPATH=`pwd`
spark-submit --master local testabc.py

python文件：

from pyspark.sql import HiveContext
from pyspark import SparkContext
sc = SparkContext();
sqlContext = HiveContext(sc)
result = sqlContext.sql("insert into table testing_oozie.table2 select * from testing_oozie.table1 ");
result.show()

赞(0）回复(0）举报 2021-06-28

我来回答

Spark上的Hive在色调上不起作用

1条答案

相关问题

热门标签

最新问答