`hive\u metastore\u jars`变量被pyspark忽略

siv3szwd  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(330)

我正在运行pyspark 1.6.0和hive 0.14。配置选项 spark.sql.hive.metastore.version 设置为0.14,但 spark.sql.hive.metastore.jars 未设置,因此pyspark正在尝试使用内置配置单元,但无法访问包含消息的配置单元

IllegalArgumentException: u'Builtin jars can only be used when hive execution version == hive metastore version. Execution: 1.2.1 != Metastore: 0.14. Specify a vaild path to the correct hive jars using $HIVE_METASTORE_JARS or change spark.sql.hive.metastore.version to 1.2.1.'

一如预期。我在shell上设置了变量 HIVE_METASTORE_JARS 到0.14的配置单元jar的正确文件夹,但pyspark会忽略它。把它传给 --jars hive-metastore.jar 似乎不起作用(它完全挂起)。
有没有办法让Pypark看到这些jar而不改变颜色 spark.sql.hive.metastore.jars 变量开启 spark-conf ?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题