我们有一个Spark程序，它执行多个查询，表是Hive表。
目前，这些查询是使用Spark的Tez引擎执行的。
我在程序中设置了sqlContext.sql（“SEThive.execution.engine=spark”），并理解查询/程序将以Spark的形式运行。我们在集群中使用HDP 2.6.5版本和Spark 2.3.0版本。
有人能建议这是正确的方式，因为我们不需要使用Tez引擎运行查询，Spark应该按原样运行。
在配置文件/etc/spark 2/conf/hive-site. xml中，我们没有任何特定的引擎属性设置，只有kerberos、metastore属性详细信息。
1条答案
按热度按时间x4shl7ld1#
你不需要设置任何东西。运行一个SparkSQL查询，打开Tez UI，你不会看到任何与Spark执行相关的内容。
如果你这样做，那么你可以尝试为Spark设置
hive-site.xml配置，并在那里添加hive.execution.engine值。