可以将when子句与NULL文本和类型转换组合，如下所示：

from pyspark.sql.functions import when, lit, col

df = sc.parallelize([(1, "foo"), (2, "bar")]).toDF(["x", "y"])

def replace(column, value):
    return when(column != value, column).otherwise(lit(None))

df.withColumn("y", replace(col("y"), "bar")).show()
## +---+----+
## |  x|   y|
## +---+----+
## |  1| foo|
## |  2|null|
## +---+----+

它没有引入BatchPythonEvaluation，因此应该比使用UDF效率高得多。

这会将name列中的empty-value替换为None：

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

df = sc.parallelize([(1, "empty-value"), (2, "something else")]).toDF(["key", "name"])
new_column_udf = udf(lambda name: None if name == "empty-value" else name, StringType())
new_df = df.withColumn("name", new_column_udf(df.name))
new_df.collect()

输出：

[Row(key=1, name=None), Row(key=2, name=u'something else')]

通过使用旧名称作为withColumn中的第一个参数，它实际上用UDF输出生成的新列替换了旧的name列。

您也可以简单地使用dict作为replace的第一个参数，我尝试了一下，它似乎接受None作为参数。

df = df.replace({'empty-value':None}, subset=['NAME'])

请注意，您的'empty-value'needs to be hashable .

最佳替代方案是将when与NULL结合使用。例如：

from pyspark.sql.functions import when, lit, col

df= df.withColumn('foo', when(col('foo') != 'empty-value',col('foo)))

如果你想将几个值替换为null，你可以在when条件中使用|，或者使用强大的create_map函数。
需要注意的是，最糟糕的解决方法是使用UDF，这是因为udfs为您的代码提供了很好的通用性，但是却带来了巨大的性能损失。