java—计算密集型工作应该在哪里完成?hadoopmapreduce中的mapper方法或reducer方法

zujrkrfu  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(339)

我正在处理大型文本文件。每个记录都是输入文本文件中的一行,我正在这些记录中搜索某些关键字。
我想知道在使用hadoop mapreduce时,以下两种方法中的哪种更有效(时间复杂度):
在Map器的Map函数中搜索
关于减速机减速机功能的探讨
请帮帮我!

tzxcd3kk

tzxcd3kk1#

两者都应该很好,但是,根据您的输入,我将在map函数中尝试它,因为:
只有找到关键字,数据才会被发送到组和reduce阶段。如果匹配关键字的数据较少,那么分组和约简的开销就会显著减少。

相关问题