如何在pyspark中将所有Dataframe列过滤为一个条件？

ct2axkht 于 2021-07-13 发布在 Spark

关注(0)|答案(1)|浏览(450)

我想过滤列2这是一个列表列到一定的条件，代码是用Pandas，我试图把它转换为pyspark。

schema = StructType([
StructField( 'vin', StringType(), True),StructField( 'age', IntegerType(), True),StructField( 'var', IntegerType(), True),StructField( 'rim', IntegerType(), True),StructField( 'cap', IntegerType(), True),StructField( 'cur', IntegerType(), True)
  ])

data = [['tom', 10,54,87,23,90], ['nick', 15,63,23,11,65], ['juli', 14,87,9,43,21]]

df=spark.createDataFrame(data,schema)

df.show()
>>>
+----+---+---+---+---+---+
| vin|age|var|rim|cap|cur|
+----+---+---+---+---+---+
| tom| 10| 54| 87| 23| 90|
|nick| 15| 63| 23| 11| 65|
|juli| 14| 87|  9| 43| 21|
+----+---+---+---+---+---+

col_2=['age','var','rim']

df=df.select(*col_2)
df.show()
>>>
+---+---+---+
|age|var|rim|
+---+---+---+
| 10| 54| 87|
| 15| 63| 23|
| 14| 87|  9|
+---+---+---+

df=df.filter(F.col(*col_2) >=10)

python DataFrame apache-spark pyspark apache-spark-sql

来源：https://stackoverflow.com/questions/66246897/how-to-filter-all-dataframe-columns-to-an-condition-in-pyspark

1条答案

按热度按时间

pftdvrlh1#

不能在列列表大于10的条件下进行筛选；但是您可以在每列大于10的条件列表中使用 & （和）或 | （或），取决于您的需要。

from functools import reduce

col_2 = ['age','var','rim']
df2 = df.filter(
    reduce(
        lambda x, y: x | y,    # `|` means `or`; use `&` if you want `and`
        [(F.col(c) >= 10) for c in col_2]
    )
)

赞(0）回复(0）举报 2021-07-13

我来回答

如何在pyspark中将所有Dataframe列过滤为一个条件？

1条答案

相关问题

热门标签

最新问答