在linux服务器上示例化“org.apache.spark.sql.hive.hivesessionstate”时出错

igetnqfo 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(259)

我有一个scalaspark应用程序，我正试图使用shell脚本在linux服务器上运行。我得到一个错误：
线程“main”java.lang.illegalargumentexception中出现异常：示例化“org.apache.spark.sql.hive.hivesessionstate”时出错：
但是，我不明白怎么了。我这样做是为了示例化spark：

val sparkConf = new SparkConf().setAppName("HDFStoES").setMaster("local")

      val spark: SparkSession = SparkSession.builder.enableHiveSupport().config(sparkConf).getOrCreate()

我做得对吗？如果是的话，会有什么错误？

hadoop Hive scala apache-spark

来源：https://stackoverflow.com/questions/47256676/error-instantiating-org-apache-spark-sql-hive-hivesessionstate-on-linux-serve

1条答案

按热度按时间

4bbkushb1#

sparkSession = SparkSession.builder().appName("Test App").master("local[*])
                .config("hive.metastore.warehouse.dir", hiveWareHouseDir)
                .config("spark.sql.warehouse.dir", hiveWareHouseDir).enableHiveSupport().getOrCreate();

使用上面的，您需要指定 "hive.metastore.warehouse.dir" 在spark会话中启用配置单元支持的目录。

赞(0）回复(0）举报 2021-06-02

我来回答

在linux服务器上示例化“org.apache.spark.sql.hive.hivesessionstate”时出错

1条答案

相关问题

热门标签

最新问答