不同的输出文件

nzkunb0c  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(476)

我希望hadoop(0.22.0)将内容写入不同的文件,如part-r-00000
零件号:r-00001
零件号:r-00002
零件号:r-00003
每个作业都有一个不同的文件。我知道我可以使用multipleoutputs类,但这只允许我更改“part”短语,但这不是我想要的。我想说哪个减速机使用哪个输出文件,以及它在最后得到的数字。

i34xakig

i34xakig1#

你当然有控制权。作业完成时(例如,作业之后。等待完成(true))。您知道输出路径和使用的减速器的数量。只要重命名文件,就行了。。。。要运行更多的reducer,应该将partitioner类设置为白色。

相关问题