从来没有使用过Glue，所以不确定你是如何提交你的作业的。但是正如这里所描述的，你可以在CLI上使用--conf spark.sql.sources.partitionOverwriteMode=...来配置每个作业的属性。
在某些情况下，您可能希望避免在SparkConf中硬编码某些配置，例如，Spark允许您简单地创建一个空conf并设置spark/spark hadoop/spark hive属性。

val conf = new SparkConf().set("spark.hadoop.abc.def", "xyz")
val sc = new SparkContext(conf)

此外，您还可以在运行时修改或添加配置：

./bin/spark-submit \
     --name "My app" \ 
     --master local[4] \  
     --conf spark.eventLog.enabled=false \ 
     --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \ 
     --conf spark.hadoop.abc.def=xyz \
     --conf spark.hive.abc=xyz
     myApp.jar

或者更动态地从代码as described here中读取。您的代码可以从您选择的任何地方读取它。