为什么我们只使用driver类和mapper类而不使用o reducer类?
1cklez4t1#
如果要对批量加载的数据进行任何聚合,可以使用reducer。在正常情况下,如果只是加载而没有任何聚合。那么Map绘制者的工作就足够了。例如:
如果您正在读取csv并加载hbase表中的所有单词以及相应的列,即没有像wordcount这样的聚合。那么Map绘制者的工作就足够了。
如果您正在读取csv,并且希望执行诸如字数计数(即聚合)之类的聚合,则将其加载到hbase中,然后需要reducer。希望能澄清。。
1条答案
按热度按时间1cklez4t1#
如果要对批量加载的数据进行任何聚合,可以使用reducer。
在正常情况下,如果只是加载而没有任何聚合。那么Map绘制者的工作就足够了。
例如:
案例1:
如果您正在读取csv并加载hbase表中的所有单词以及相应的列,即没有像wordcount这样的聚合。那么Map绘制者的工作就足够了。
案例2:
如果您正在读取csv,并且希望执行诸如字数计数(即聚合)之类的聚合,则将其加载到hbase中,然后需要reducer。
希望能澄清。。