我正在尝试让Scala和Spark与数据集和聚合函数一起工作。
val keyValueGroupedDataset = dataset
.map(mapFunctionToTheSchema)
.groupByKey(a => a.key)
val calculatedAverage = keyValueGroupedDataset.agg(???)
基于mapFunctionToTheSchema(它返回多个记录,例如):(key:long,value:long)
我试着计算每个键的平均值。
然而,每当我试图这样做的时候
> (for instance in:
> org.apache.spark.sql.functions.avg(myEncoder.schema("columnName").name).as("average")
Cannot resolve overloaded method 'agg'
我不确定我做错了什么,因为所有其他教程/堆栈溢出问题都表明它应该可以工作。
1条答案
按热度按时间iszxjhcz1#
我差不多是自己回答的。
我用过
typed.avg[Class](yourClassElement => yourClassElement.field)