由于只保留不同的值，因此可以使用 row_number 窗口上的函数：

from pyspark.sql import Window
from pyspark.sql import functions as F

 df = spark.createDataFrame(
    [("a",), ("a",), ("b",), ("c",), ("d",), ("e",), ("e",)],
    ("string",)
)

w = Window.orderBy("string")

df1 = df.distinct().withColumn("ID", F.row_number().over(w) - 1)

df1.show()

# +------+---+

# |string| ID|

# +------+---+

# |     a|  0|

# |     b|  1|

# |     c|  2|

# |     d|  3|

# |     e|  4|

# +------+---+

现在让我们在这个Dataframe中添加一些行并使用 row_number 随着 coalesce 分配 ID 仅适用于为空的行（无需获取最大值）：

df2 = df1.union(spark.sql("select * from values ('f', null), ('h', null), ('i', null)"))

df3 = df2.withColumn("ID", F.coalesce("ID", F.row_number(w) - 1))

df3.show()

# +------+---+

# |string| ID|

# +------+---+

# |     a|  0|

# |     b|  1|

# |     c|  2|

# |     d|  3|

# |     e|  4|

# |     f|  5|

# |     h|  6|

# |     i|  7|

# +------+---+

如果您也希望保留重复的值并为它们指定相同的值 ID ，然后使用 dense_rank 而不是 row_number .