如何使用rdd spark计算和列表和元组

6ojccjat  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(530)

我有一个rdd看起来像这样

val elements = List((8, 12), (9, 10), (5, 16))

输出应该如下所示

result_1 = 22 #sum of the first element
result_2 = 38 #sum of the second element
jecbmhm3

jecbmhm31#

有几种方法可以计算总和。

val result1 = rdd.map(_._1).sum()
val result2 = rdd.map(_._2).sum()

val result = rdd.reduce((a, b) => (a._1 + b._1, a._2 + b._2))

// result1: Double = 22.0
// result2: Double = 38.0
// result: (Int, Int) = (22,38)

相关问题