我是hadoop的新手,我正在尝试编写一个mr作业,它从多个文件中获取输入,并将输出显示为文件的单词列表,但我无法获取文件名例如:hadoop[file1,file2,file3]配置单元[file2,file3]
k4emjkb11#
这与字数计算程序非常相似。从Map发射,
Word,Filename
要提取文件名,
String fileName = ((FileSplit) context.getInputSplit()).getPath().getName();
在reduce中,默认情况下,您将获得每个单词的文件名分组。您可以迭代并执行所需的操作。
1条答案
按热度按时间k4emjkb11#
这与字数计算程序非常相似。
从Map发射,
要提取文件名,
在reduce中,
默认情况下,您将获得每个单词的文件名分组。您可以迭代并执行所需的操作。