hadoop mapreduce wordcount如何将输入作为< key,value>对?

oxf4rvwz  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(332)

你觉得 WordCount mapreduce应用程序将输入作为一组<key,value>对?它似乎需要输入一组单词。
来自apache hadoop mapreduce教程:
mapreduce框架只对<key,value>对进行操作,也就是说,该框架将作业的输入视为一组<key,value>对
(输入)<k1,v1>->Map

jbose2ul

jbose2ul1#

本教程尚未详细介绍。有一个 InputFormat 和一个 OutputFormat 它是为每个mapreduce程序定义的。
InputFormat 定义给定记录的键和值。
RecordReader 定义给定输入文件中的记录。(还有一点)
WordCount 程序,默认值 InputFormat 是textinputformat,它接受 LongWritable 作为关键 Text 作为每个记录的值;并且这个程序中的每条记录都是一行(默认情况下)。这里的键是行的字节偏移量,值是文本行。我想你错过了教程中的这一部分。

相关问题