hadoop—Map和reduce操作是如何实际执行的

vlju58qv  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(337)

我已经问过这个问题了,有人能给出正确的答案和解释吗?
哪个最能描述textinputformat如何处理输入文件和换行符?
答。输入文件拆分可能会跨换行符。跨文件拆分的行由包含虚线开头的拆分的recordreader读取。
b。输入文件拆分可能会跨换行符。跨文件拆分的行由两个包含虚线的拆分的RecordReader读取。
c。输入文件在换行符处被完全拆分,因此每个recordreader将读取一系列完整的行。
d。输入文件拆分可能会跨换行符。与文件拆分交叉的行将被忽略。
e。输入文件拆分可能会跨换行符。跨文件拆分的行由包含虚线结尾的拆分的recordreader读取。
提前谢谢

1wnzp6jl

1wnzp6jl1#

linerecordreader读取Map调用的值,直到它遇到新行(或其他分隔符(如果指定)),这是下面对textinputformat类型的调用的帮助。所以很明显,一个记录永远不会结束,除非它遇到一个新的行。

newSize = in.readLine(value, maxLineLength, Math.max((int)Math.min(Integer.MAX_VALUE, end-pos),maxLineLength));

所以选择a是有效的。
输入文件拆分可能会跨换行符。跨文件拆分的行由包含虚线开头的拆分的recordreader读取。

相关问题