set spark.master=<Spark Master URL>;
set spark.executor.memory=512m;
set spark.yarn.executor.memoryOverhead=10~20% of spark.executor.memory(value);
set spark.serializer=org.apache.spark.serializer.KryoSerializer;
</property>
<name>hive.execution.engine</name>
<value>spark</value>
<description>
I am choosing Spark as the execution engine
</description>
</property>
set spark.master=<Spark Master URL>
set spark.eventLog.enabled=true;
set spark.eventLog.dir=<Spark event log folder (must exist)>
set spark.executor.memory=512m;
set spark.serializer=org.apache.spark.serializer.KryoSerializer;
3条答案
按热度按时间4smxwvx51#
遵循spark上的官方hive文档:
https://cwiki.apache.org/confluence/display/hive/hive+on+spark%3a+getting+started
您可以使用以下命令在配置单元上设置spark引擎:
或者将其添加到hive-site.xml(请参阅kanishka post)
然后在hive2.2.0之前,将spark程序集jar复制到hivehome/lib。
从hive2.2.0开始,spark上的hive运行spark2.0.0及更高版本,而spark2.0及更高版本没有装配jar。
要使用yarn模式(yarn client或yarn cluster)运行,请将以下jar复制到hive\u home/lib。
scala库
Spark芯
Spark网络公用
设置spark\u主页:
启动spark master和workers:
配置spark:
vlf7wbxs2#
将hive-site.xml放到spark conf目录中
htrmnn0y3#
配置单元可以支持多个执行引擎。就像泰兹,斯帕克。可以在hive-site.xml中设置属性
将jars spark程序集jar复制到hive\u home/lib
把Spark放在家里
设置以下属性
我想以上步骤就足够了