Spark支持删除分区，包括数据和元数据。
引用scala代码注解

/**
 * Drop Partition in ALTER TABLE: to drop a particular partition for a table.
 *
 * This removes the data and metadata for this partition.
 * The data is actually moved to the .Trash/Current directory if Trash is configured,
 * unless 'purge' is true, but the metadata is completely lost.
 * An error message will be issued if the partition does not exist, unless 'ifExists' is true.
 * Note: purge is always false when the target is a view.
 *
 * The syntax of this command is:
 * {{{
 *   ALTER TABLE table DROP [IF EXISTS] PARTITION spec1[, PARTITION spec2, ...] [PURGE];
 * }}}
 */

在您的情况下，没有备份表。我们可以将 Dataframe 注册为临时表，并使用上面的语法（临时表文档）
在pyspark中，我们可以使用以下链接中的语法运行SQL示例：

df = spark.read.format('parquet').load('Revenue.parquet'). registerTempTable("tmp")
spark.sql("ALTER TABLE tmp DROP IF EXISTS PARTITION (month='2015-02-01') PURGE")

下面的语句将只删除与分区信息相关的元数据。

ALTER TABLE db.yourtable DROP IF EXISTS PARTITION(loaded_date="2019-08-22");

如果你想删除数据，你需要把你的配置单元外部表的tblproperties设置为False。2它会把你的配置单元表设置为托管表。

alter table db.yourtable set TBLPROPERTIES('EXTERNAL'='FALSE');

您可以将其设置回外部表。

alter table db.yourtable set TBLPROPERTIES('EXTERNAL'='TRUE');

我尝试使用spark session设置给定属性，但遇到了一些问题。

spark.sql("""alter table db.test_external set tblproperties ("EXTERNAL"="TRUE")""")
pyspark.sql.utils.AnalysisException: u"Cannot set or change the preserved property key: 'EXTERNAL';"

我相信一定有办法做到这一点。我最终使用了Python。我在PysPark中定义了下面的函数，它完成了这项工作。

query=""" hive -e 'alter table db.yourtable set tblproperties ("EXTERNAL"="FALSE");ALTER TABLE db.yourtable DROP IF EXISTS PARTITION(loaded_date="2019-08-22");' """

def delete_partition():
        print("I am here")
        import subprocess
        import sys
        p=subprocess.Popen(query,shell=True,stderr=subprocess.PIPE)
        stdout,stderr = p.communicate()
        if p.returncode != 0:
            print stderr
            sys.exit(1) 

>>> delete_partition()

这将同时删除元数据和数据。注意。我已经用HiveORC外部分区表测试过了，它在loaded_date分区

# Partition Information
# col_name              data_type               comment

loaded_date             string

更新：基本上你的数据是躺在hdfs位置的子目录命名为

/Revenue/month=2015-02-01
/Revenue/month=2015-03-01
/Revenue/month=2015-03-01

等等

def delete_partition(month_delete):
      print("I am here")
      hdfs_path="/some_hdfs_location/Revenue/month="
      final_path=hdfs_path+month_delete
      import subprocess
      subprocess.call(["hadoop", "fs", "-rm", "-r", final_path])
      print("got deleted")

delete_partition("2015-02-01")

如果你想在pyspark中完成而不使用配置单元表，你可以按照以下步骤完成：
1-获取新数据的分区
2-检查其对应的 parquet 分区是否存在并删除
3-以附加方式写入
因此，这里我假设'month'是 Dataframe 中的分区列：

new_data_paritions = df.select('month').distinct().collect()
new_data_paritions = [v['month'] for v in new_data_paritions] #list of all new partitions

#Check if they exist and delete them:
for partition in new_data_paritions:
    fs = sc._jvm.org.apache.hadoop.fs.FileSystem.get(sc._jsc.hadoopConfiguration())
    if fs.exists(sc._jvm.org.apache.hadoop.fs.Path("/path/Revenue/month={}".format(partition))):
        dbutils.fs.rm("/path/Revenue/month={}".format(partition)), True)

df.write.format('parquet').mode('append').partitionBy('month').save('/path/Revenue')

我使用Databricks笔记本，因此我使用“dbutils.fs.rm”删除文件夹（分区）。