我正在尝试使用下面的逻辑检查是否存在空列,但我不确定这是否适用于其他数据类型,是否有其他通用方法可以检查python中的空条件,该方法适用于所有数据类型。
from pyspark.sql import Row
from pyspark.sql.types import *
from pyspark.sql.functions import *
df = sc.parallelize([ \
Row(name='Alice', age=5, height=''), \
Row(name='Kate', age=10, height=90), \
Row(name='Brain', age=15, height=100)]).toDF()
df.createOrReplaceTempView("Test")
dfn1 = df.select([count(when(isnull(c), c)).alias(c) for c in df.columns])
df10=dfn1.selectExpr("stack(3,'name',bigint(name),'age',bigint(age),'height',bigint(height)) as (col_name,null_col_check)").show()
output :
+--------+--------+
|col_name|null_col|
+--------+--------+
| name| 0|
| age| 0|
| height| 1|
+--------+--------+
暂无答案!
目前还没有任何答案,快来回答吧!