Pyspark groupby和count空值

k3bvogb1  于 2022-12-03  发布在  Spark
关注(0)|答案(1)|浏览(162)

PySpark数据框架Groupby和计数空值
参考上面的解决方案链接,我试图应用相同的逻辑,但groupby(“country”)和获得另一列的空计数,我得到了一个“列是不可迭代的”失败。有人能帮助解决这个问题吗?

df7.groupby("country").agg(*(sum(col(c).isNull().cast("int")).alias(c) for c in columns))
kr98yfug

kr98yfug1#

covid_india_df.select(
    [
        funcs.count(
            funcs.when((funcs.isnan(clm) | funcs.col(clm).isNull()), clm)
        ).alias(clm) for clm in covid_india_df.columns
    ]
).show()

上述方法可以帮助您获得正确的结果。Check here是一个完整的示例。

相关问题