使用 collect_set 消除重复并使用 array_sort （来自spark-2.4.0）对数组进行排序。
（或）使用 array_distinct （来自spark-2.4.0）以从collect\u列表中消除重复项。

df.show()

# +--------+--------+

# |Column_1|Column_2|

# +--------+--------+

# |       A|   Name1|

# |       A|   Name2|

# |       A|   Name3|

# |       B|   Name1|

# |       B|   Name2|

# |       C|   Name1|

# |       D|   Name1|

# |       D|   Name1|

# +--------+--------+

from pyspark.sql.functions import *    
df.groupBy('Column_1').agg(array_sort(collect_set(col('Column_2'))).alias("Column_2")).orderBy("Column_1").show(10,False)

# using array_distinct,array_sort functions

df.groupBy('Column_1').agg(array_sort(array_distinct(collect_list(col('Column_2')))).alias("Column_2")).orderBy("Column_1").show(10,False)

# +--------+---------------------+

# |Column_1|Column_2             |

# +--------+---------------------+

# |A       |[Name1, Name2, Name3]|

# |B       |[Name1, Name2]       |

# |C       |[Name1]              |

# |D       |[Name1]              |

# +--------+---------------------+

除了我上面的评论之外，如果顺序与发生顺序有关（请检查输入df）：

+--------+--------+
|Column_1|Column_2|
+--------+--------+
|A       |Name1   |
|A       |Name3   | <-Name3 occurs first
|A       |Name2   |
|B       |Name1   |
|B       |Name2   |
|C       |Name1   |
|D       |Name1   |
|D       |Name1   |
|D       |Name1   |
|D       |Name1   |
+--------+--------+

您可以首先分配索引和“删除重复项+收集”列表：

(df.withColumn("idx",F.monotonically_increasing_id()).dropDuplicates(["Column_1","Column_2"])
.orderBy("idx").groupby("Column_1").agg(F.collect_list("Column_2").alias("Column_2"))
 .orderBy("Column_1")).show(truncate=False)

+--------+---------------------+
|Column_1|Column_2             |
+--------+---------------------+
|A       |[Name1, Name3, Name2]|
|B       |[Name1, Name2]       |
|C       |[Name1]              |
|D       |[Name1]              |
+--------+---------------------+