你觉得 WordCount mapreduce应用程序将输入作为一组<key,value>对?它似乎需要输入一组单词。来自apache hadoop mapreduce教程:mapreduce框架只对<key,value>对进行操作,也就是说,该框架将作业的输入视为一组<key,value>对(输入)<k1,v1>->Map
WordCount
jbose2ul1#
本教程尚未详细介绍。有一个 InputFormat 和一个 OutputFormat 它是为每个mapreduce程序定义的。一 InputFormat 定义给定记录的键和值。一 RecordReader 定义给定输入文件中的记录。(还有一点)在 WordCount 程序,默认值 InputFormat 是textinputformat,它接受 LongWritable 作为关键 Text 作为每个记录的值;并且这个程序中的每条记录都是一行(默认情况下)。这里的键是行的字节偏移量,值是文本行。我想你错过了教程中的这一部分。
InputFormat
OutputFormat
RecordReader
LongWritable
Text
1条答案
按热度按时间jbose2ul1#
本教程尚未详细介绍。有一个
InputFormat
和一个OutputFormat
它是为每个mapreduce程序定义的。一
InputFormat
定义给定记录的键和值。一
RecordReader
定义给定输入文件中的记录。(还有一点)在
WordCount
程序,默认值InputFormat
是textinputformat,它接受LongWritable
作为关键Text
作为每个记录的值;并且这个程序中的每条记录都是一行(默认情况下)。这里的键是行的字节偏移量,值是文本行。我想你错过了教程中的这一部分。