Apache Spark 在RDD Python中从字典添加NumpyArray值

pes8fvy9  于 2023-01-31  发布在  Apache
关注(0)|答案(1)|浏览(119)

如何将字典中的值分别加到RDD*****中?
我有以下内容:

my_model = sc.parallelize([("Smith", np.array([1, 0, 3])), ("Johnson",np.array([2, 4, 1])), ("Brown",np.array([1, 1, 2]))])

我希望最终输出为numpy array中的以下内容:

[4, 5, 6]

我怎样才能得到numpy数组中的这个附加输出?

jv4diomz

jv4diomz1#

可以使用reduce函数将RDD中的值相加:

from operator import add
result = my_model.map(lambda x: x[1]).reduce(add)

相关问题