在hadoop中从稀疏矩阵中读取特定的行块

44u64gxh  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(466)

我有一个矩阵存储如下
行ID、列ID、值
我只想读取一大块行并将其发送给Map程序。例如,id=1,2,3,4的行到Map器,5,6,7,8到另一个Map器。。。有可能吗?

uqjltbpv

uqjltbpv1#

不,这可能是不可能的,除非你跳过一些严重的环。这就是reduce阶段的目的!将rowid作为reduce键(或基于它的一些计算…)。。。就像 (rowid-1)/4 )这些块将被发送到同一个减速机。

相关问题