如何在列列表上循环以在每个列上应用pysparksql查询

whhtz7ly 于 2023-03-07 发布在 Spark

关注(0)|答案(1)|浏览(115)

这是我用来循环列列表的代码：enter image description here但是它给了我以下错误enter image description here
我在另一个查询上做了同样的操作，但它也给了我一个synthax错误：
给出的误差：enter image description here
代码看起来很好，所以我不能告诉问题在哪里

pyspark

来源：https://stackoverflow.com/questions/75614535/how-we-can-loop-on-a-list-of-columns-to-apply-a-pyspark-sql-query-on-each-of-the

1条答案

按热度按时间

qyyhg6bp1#

您不能在select中直接使用SQL，而是这样做，

df.createOrReplaceTempView('DATA')

col_list = [<enter column names here>]

for i in col_list:
    sql_query = spark.sql(f"select * from data where {i} is null")
    sql_query.show()

或者你也可以这样做

for i in col_list:
    df.filter(F.col(i).isNull()).show()

赞(0）回复(0）举报 2023-03-07

我来回答

如何在列列表上循环以在每个列上应用pysparksql查询

1条答案

相关问题

热门标签

最新问答