pyspark如何Map两个rdd来做某事?

4c8rllxm  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(212)

我有两个RDD如下。

rdd1: {'f1':[2,3], 'f2':[3,4]}
rdd2: {'f1':[3,4], 'f2':[5,1]}

我想根据它们的键来计算这两个RDD。

def do_something(value_list_1,value_list_2):
    result = calculate(value_list_1,value_list_2)
    return result

这里,dou的输入类似于 [2,3] 以及 [3,4] on键 f1 .
可能是这样的:

union(rdd1.values(),rdd2.values()).map(lambda (value_list1,value_list2):do_something(value_list_1, value_list_2))

我是新手,希望能得到帮助。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题