我想出了一个解决方案，它可以很好地扩展少数（或不多）我需要列的不同值。这是必然的情况，否则列的数量会爆炸。

def createNewColumnsFromValues(dataFrame, colName, targetCol):
  distinctValues = dataFrame.select(colName).distinct().collect()
  for value in distinctValues:
    dataFrame = dataFrame.withColumn(str(value[0]), f.when(f.col(colName) == value[0], f.col(targetCol)).otherwise(f.lit(None)))

return dataFrame

你可以尝试以下代码：

test_df = spark.createDataFrame([
    (1,"2",5,1),(3,"4",7,8),              
    ], ("col1","col2","col3","col4"))

def createNewColumnsFromValues(dataFrame, sourceCol, colName, targetCol):
    """
    Set value column colName to targetCol
    """
    for value in sourceCol:
        dataFrame = dataFrame.withColumn(str(value[0]), when(col(colName)==value[0], targetCol).otherwise(None))

    return dataFrame

createNewColumnsFromValues(test_df, test_df.select("col4").collect(), "col4", test_df["col3"]).show()

这里的技巧是执行select("COLUMNNAME").collect()以获得列中的值的列表。然后colName包含此列表，这是一个行列表，其中每一行都有一个元素。所以你可以直接遍历列表并访问位置0处的元素。在这种情况下，转换为string是必要的，以确保新列的列名是字符串。目标列用于每个单独列的值。因此结果如下所示：

+----+----+----+----+----+----+
|col1|col2|col3|col4|   1|   8|
+----+----+----+----+----+----+
|   1|   2|   5|   1|   5|null|
|   3|   4|   7|   8|null|   7|
+----+----+----+----+----+----+