我知道这可能是一个微不足道的问题,但我坚持了一段时间:)基本上,我是从spark查询配置单元表。我的所有配置单元的连接设置都在hive-site.xml文件中,该文件位于我的windows pc上的spark\u home/conf目录中。通过spark shell它可以正常工作。但是,当我从intellij idea运行相同的操作时,它将在本地查询配置单元,而不是连接到hive-site.xml中定义的远程元存储。
package main.scala
import org.apache.spark.sql.SparkSession
object Main {
def main(args: Array[String]) {
val spark = SparkSession
.builder()
.appName("Hive Tables")
.master("local")
.enableHiveSupport()
.getOrCreate()
import spark.sql
sql("show tables").show()
}
}
我为hadoop\u home和spark\u home添加了环境变量。正如我提到的,它通过Spark壳工作得很好。但似乎在intellij idea中没有读取hive-site.xml。
你知道我会做错什么吗?
谢谢
暂无答案!
目前还没有任何答案,快来回答吧!