我可以访问mapper中的完整块吗?

798qvoo8  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(280)

通常记录读取器逐行传递给Map器或n行。在Map器中可以访问完整的块吗?这意味着记录读取器将向Map器提供完整的块,而不是逐行?这种方法有意义吗?
谢谢

pw136qt2

pw136qt21#

需要注意的是,默认情况下拆分大小不等于块大小。要做您想做的事情,您需要实现定制的inputformat和更精确的方法 getSplits(JobContext context) . 使 InputSplit 大小等于块大小。

相关问题