scala—如何从特定列中具有最大值的Dataframe中获取行？

ijxebb2r 于 2021-07-13 发布在 Spark

关注(0)|答案(2)|浏览(310)

我有一个这样的Dataframe

df.show(5)
 kv   |list1     |list2                |p
[k1,v2|[1,2,5,9  |[5,1,7,9,6,3,1,4,9]  |0.5
[k1,v3|[1,2,5,8,9|[5,1,7,9,6,3,1,4,15] |0.9
[k2,v2|[77,2,5,9]|[0,1,8,9,7,3,1,4,100]|0.01
[k5,v5|[1,0,5,9  |[5,1,7,9,6,3,1,4,3]  |0.3
[k9,v2|[1,2,5,9  |[5,1,7,9,6,3,1,4,200]|2.5

df.count()
5200158

我想得到的行有最大的p，这下面的工作为我，但我不知道是否有其他更干净的方式

val f = df.select(max(struct(
    col("pp") +: df.columns.collect { case x if x != "p" => col(x) }: _*
))).first()

scala apache-spark apache-spark-sql

来源：https://stackoverflow.com/questions/66333866/find-the-maximum-value-from-a-column-and-return-whole-row-using-scala-and-spark

2条答案

按热度按时间

e37o9pze1#

只需点餐，然后取：

import org.apache.spark.sql.functions.desc

df.orderBy(desc("pp")).take(1)

或

df.orderBy(desc("pp")).limit(1).first

赞(0）回复(0）举报 2021-07-13

dw1jzc5e2#

您还可以使用窗口函数，如果选择行的逻辑变得更复杂（而不是全局最小值/最大值），这将特别有用：

import  org.apache.spark.sql.expressions.Window

df
  .withColumn("max_p",max($"p").over(Window.partitionBy()))
  .where($"p" === $"max_p")
  .drop($"max_p")
  .first()

赞(0）回复(0）举报 2021-07-13

我来回答

scala—如何从特定列中具有最大值的Dataframe中获取行？

2条答案

相关问题

热门标签

最新问答