检查列是否存在,如果不存在,使用PySpark创建并填充NaN

zd287kbt  于 2023-03-23  发布在  Apache
关注(0)|答案(1)|浏览(111)

我有一个pyspark Dataframe 和一个单独的列名列表。我想检查并查看是否有任何列表列名丢失,如果是,我想创建它们并填充空值。
在pyspark中有没有一种直接的方法可以做到这一点?我可以在Pandas中做到这一点,但这不是我所需要的。

z2acfund

z2acfund1#

这应该行得通:

if 'col' not in df.schema.names:
    df = df.withColumn('col', F.lit(None).cast(StringType())

如果你遇到什么问题就告诉我。

相关问题