hadoop多输出维护从map发出的记录顺序

kuarbcqp  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(128)

我试图在hadoop中实现减速机的多个输出。文件创建正确,问题是文件的页眉和页脚没有放在正确的位置(即,从Map发出的记录的顺序被更改)。我有一个Map器和多个还原器。
我试图向每个Map记录添加一个索引(比如一个整数),并将其从reducer键中删除,但由于文件已经存在,所以给出了一个异常。我使用一个定制的比较器根据索引值对键进行排序。
我有什么想法吗。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题