hadoop mapreduce输出

rqcrx0a6  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(300)

关于hadoop的另一个问题。有没有可能把一张单子简化成一张Map?我的意思是在Map后面有这样的列表()

KEY:  VALUE: 
aaa   word 
      string 
      word 
      text 
      string 
      word

是否可以将列表简化为以下结构?

KEY:  VALUE: 
aaa   word, 3 
      string, 2 
      text, 1

谢谢曼纽尔

bmp9r5qi

bmp9r5qi1#

我要做的是:由于您正试图实现典型的字数计算,但在与键相关联的列表上,我将通过在Map器(键、值)对的输出处生成以下结果来扩展此类wordwout示例:

aaa-word,1
aaa-string,1
aaa-word,1
aaa-text,1
aaa-string,1
aaa-word,1

i、 我会加上 aaa 所有输出对的信息。然后,reducer将照常工作:通过接收键相同的值列表;然后,将公共密钥拆分为 aaa 以及这个词;此外,还将返回列表的长度,并将其连接到单词。

(aaa-word,1),(aaa-word,1),(aaa-word,1)-->(aaa,word-3)
(aaa-string,1),(aaa-string,1)-->(aaa,string-2)
(aaa-text,1)-->(aaa,text-1)

相关问题