我认为你可以使用重新分配方法而不是合并。repartition允许您指定输出分区的数量，您可以将其设置为Col2中不同值的数量，以确保Col2的每个值都在单独的分区中。下面是一个例子：

num_partitions = Data.select("Col2").distinct().count()
Data.repartition(num_partitions, 
"Col2").write.mode("overwrite").partitionBy("Col2").csv(mypath)

我认为如果按如下方式使用，数据将被排序，每个文件将在一个文件夹中：

num_partitions = Data.select("Col2").distinct().count()
sorted_data = Data.repartition(num_partitions, "Col2").orderBy("Col2")
coalesced_data = sorted_data.coalesce(1)
coalesced_data.write.mode("overwrite").partitionBy("Col2").csv(mypath)

@ind_1617：
通过在sorted_df上添加coalesce（1），可以看到生成的dataframe在作为CSV文件写入之前被合并到一个分区中。

from pyspark.sql.functions import monotonically_increasing_id

    df_with_id = df.withColumn("id", monotonically_increasing_id())
    repartitioned_df = df_with_id.repartition("col2")
    sorted_df = repartitioned_df.orderBy("id")

    # Coalesce(1) statement added here
    coalesced_df = sorted_df.coalesce(1)

    coalesced_df.write.mode("overwrite").partitionBy("col2").csv(mypath)