Spark Scala数据集不能使用AGG函数

ukxgm1gy  于 2022-11-09  发布在  Scala
关注(0)|答案(1)|浏览(167)

我正在尝试让Scala和Spark与数据集和聚合函数一起工作。

val keyValueGroupedDataset =  dataset
  .map(mapFunctionToTheSchema)
  .groupByKey(a => a.key)

val calculatedAverage = keyValueGroupedDataset.agg(???)

基于mapFunctionToTheSchema(它返回多个记录,例如):(key:long,value:long)
我试着计算每个键的平均值。
然而,每当我试图这样做的时候

> (for instance in: 
> org.apache.spark.sql.functions.avg(myEncoder.schema("columnName").name).as("average")

Cannot resolve overloaded method 'agg'

我不确定我做错了什么,因为所有其他教程/堆栈溢出问题都表明它应该可以工作。

iszxjhcz

iszxjhcz1#

我差不多是自己回答的。
我用过typed.avg[Class](yourClassElement => yourClassElement.field)

相关问题