apachesqoop-1还原阶段

elcex8rz  于 2021-05-29  发布在  Hadoop
关注(0)|答案(3)|浏览(344)

我浏览了sqoop文档,没有找到有关sqoop-1为什么没有reducer阶段的信息。有人能解释一下吗。

ttp71kqs

ttp71kqs1#

当所有任务都可以并行执行时,不需要reduce阶段。

9rnv2umw

9rnv2umw2#

reducer的目的是聚合输入值并返回单个输出值。
看看mapreduce中wordcount的简单示例。reducer用于聚合单个单词的出现次数。
由于sqoop作业的本质是从给定的rdbms获取输入记录,并将记录放入hdfs中的给定输出目录或配置单元表中,因此该作业不需要任何聚合,因此不需要reduce阶段。

x9ybnkn6

x9ybnkn63#

sqoop不需要reducer,因为它在rdbms和hdfs文件系统(或hive表)之间导入/导出数据。
由于rdbms由结构化数据组成,因此不需要无序排列或排序,聚合可以在mapper it中自行完成。

相关问题