spark\u主页阅读intellij idea

lf5gs5x2  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(254)

我知道这可能是一个微不足道的问题,但我坚持了一段时间:)基本上,我是从spark查询配置单元表。我的所有配置单元的连接设置都在hive-site.xml文件中,该文件位于我的windows pc上的spark\u home/conf目录中。通过spark shell它可以正常工作。但是,当我从intellij idea运行相同的操作时,它将在本地查询配置单元,而不是连接到hive-site.xml中定义的远程元存储。

package main.scala

import org.apache.spark.sql.SparkSession

object Main {

  def main(args: Array[String]) {

    val spark = SparkSession
      .builder()
      .appName("Hive Tables")
      .master("local")
      .enableHiveSupport()
      .getOrCreate()

    import spark.sql
    sql("show tables").show()
  }
}

我为hadoop\u home和spark\u home添加了环境变量。正如我提到的,它通过Spark壳工作得很好。但似乎在intellij idea中没有读取hive-site.xml。
你知道我会做错什么吗?
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题