python中任何数据类型的genric空条件检查

brccelvz  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(170)

我正在尝试使用下面的逻辑检查是否存在空列,但我不确定这是否适用于其他数据类型,是否有其他通用方法可以检查python中的空条件,该方法适用于所有数据类型。

from pyspark.sql import Row
from pyspark.sql.types import *
from pyspark.sql.functions import *
df = sc.parallelize([ \
    Row(name='Alice', age=5, height=''), \
    Row(name='Kate', age=10, height=90), \
    Row(name='Brain', age=15, height=100)]).toDF()

df.createOrReplaceTempView("Test")
dfn1 = df.select([count(when(isnull(c), c)).alias(c) for c in df.columns])
df10=dfn1.selectExpr("stack(3,'name',bigint(name),'age',bigint(age),'height',bigint(height)) as (col_name,null_col_check)").show()

output : 

+--------+--------+
|col_name|null_col|
+--------+--------+
|    name|       0|
|     age|       0|
|  height|       1|
+--------+--------+

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题