mapreduce中的java函数组合

mepcadol  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(311)

假设我们有两个文件f1和f2,它们的键值对表示数学意义上的函数。使用mapreduce查找它们的合成最简单的方法是什么?最有效的方法是什么?
例如,给定:

f1
a -> b
x -> y
s -> t

f2
b -> c
t -> r

f1 . f2 (composition of f1 and f2) would be
a -> c
s -> r
hm2xizp9

hm2xizp91#

使转化 f1f1' Map缩小 f1' 以及 f2 同时。对于每个 x->v2f2 ,对所有人来说 x->k1f1' (如有),输出 k1->v2 .
只有当 f1 范围相当大。如果太多 k1 Map到同一个 v1 ,则相应的Map工作者将被淹没。

相关问题