hadoop 忽略非Spark配置属性：hive.exec.dynamic.partition.mode

toe95027 于 2022-12-17 发布在 Hadoop

关注(0)|答案(2)|浏览(167)

如何使用hive.exec.dynamic.partition.mode=nonstrict运行Spark-shell？
我尝试（作为suggested here）

export SPARK_MAJOR_VERSION=2; spark-shell  --conf "hive.exec.dynamic.partition.mode=nonstrict" --properties-file /opt/_myPath_/sparkShell.conf'

但警告“忽略非Spark配置属性：配置单元.执行.动态.分区.模式=非严格”
PS：使用Spark版本2.2.0.2.6.4.0-91，Scala版本2.11.8

df.write.mode("overwrite").insertInto("db.partitionedTable")出错后需求到达，

org.apache.spark.Spark异常：动态分区严格模式至少需要一个静态分区列。若要关闭此模式，请设置hive.exec.dynamic.partition.mode=nonstrict*

2条答案

您可以尝试使用spark.hadoop.*前缀，如自定义Spark配置一节中建议的版本2. 3。如果它只是一个文档错误，可能在2. 2中也能正常工作：）

spark-shell \
  --conf "spark.hadoop.hive.exec.dynamic.partition=true" \
  --conf "spark.hadoop.hive.exec.dynamic.partition.mode=nonstrict" \
  ...

我遇到了同样的问题，只找到了直接在进程中设置配置的变通方法，然后再写

spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict")
df.write(...)