in-pig如何找出两个数据集或关系之间的并集?

q8l4jmvw  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(265)

我有一个文本文件,我用一些规则来处理,并得出了两个独立的关系

dump A;

A=

({(18),(17),(16),(15)})

({(4),(1)})

({(7),(6)})

({(9),(2)})

({(13),(11)})

dump B;

B = 

({(4),(3)})

我想加入这些基于它持有的价值观,即。 (4),(1)(4),(3) b的应联接,其并集应显示为输出 (4),(1),(3) 输出应该是这样的-

({(18),(17),(16),(15)})

({(4),(1) ,(3)})

({(7),(6)})

({(9),(2)})

({(13),(11)})

提前谢谢

tyky79it

tyky79it1#

datafu中有一个包连接:http://datafu.incubator.apache.org/docs/datafu/guide/bag-operations.html 一旦加入,你就可以申请了 DISTINCT .

相关问题