假设我们有两个文件f1和f2,它们的键值对表示数学意义上的函数。使用mapreduce查找它们的合成最简单的方法是什么?最有效的方法是什么?例如,给定:
f1 a -> b x -> y s -> t f2 b -> c t -> r f1 . f2 (composition of f1 and f2) would be a -> c s -> r
hm2xizp91#
使转化 f1 至 f1' Map缩小 f1' 以及 f2 同时。对于每个 x->v2 在 f2 ,对所有人来说 x->k1 在 f1' (如有),输出 k1->v2 .只有当 f1 范围相当大。如果太多 k1 Map到同一个 v1 ,则相应的Map工作者将被淹没。
f1
f1'
f2
x->v2
x->k1
k1->v2
k1
v1
1条答案
按热度按时间hm2xizp91#
使转化
f1
至f1'
Map缩小f1'
以及f2
同时。对于每个x->v2
在f2
,对所有人来说x->k1
在f1'
(如有),输出k1->v2
.只有当
f1
范围相当大。如果太多k1
Map到同一个v1
,则相应的Map工作者将被淹没。