我浏览了sqoop文档,没有找到有关sqoop-1为什么没有reducer阶段的信息。有人能解释一下吗。
ttp71kqs1#
当所有任务都可以并行执行时,不需要reduce阶段。
9rnv2umw2#
reducer的目的是聚合输入值并返回单个输出值。看看mapreduce中wordcount的简单示例。reducer用于聚合单个单词的出现次数。由于sqoop作业的本质是从给定的rdbms获取输入记录,并将记录放入hdfs中的给定输出目录或配置单元表中,因此该作业不需要任何聚合,因此不需要reduce阶段。
x9ybnkn63#
sqoop不需要reducer,因为它在rdbms和hdfs文件系统(或hive表)之间导入/导出数据。由于rdbms由结构化数据组成,因此不需要无序排列或排序,聚合可以在mapper it中自行完成。
3条答案
按热度按时间ttp71kqs1#
当所有任务都可以并行执行时,不需要reduce阶段。
9rnv2umw2#
reducer的目的是聚合输入值并返回单个输出值。
看看mapreduce中wordcount的简单示例。reducer用于聚合单个单词的出现次数。
由于sqoop作业的本质是从给定的rdbms获取输入记录,并将记录放入hdfs中的给定输出目录或配置单元表中,因此该作业不需要任何聚合,因此不需要reduce阶段。
x9ybnkn63#
sqoop不需要reducer,因为它在rdbms和hdfs文件系统(或hive表)之间导入/导出数据。
由于rdbms由结构化数据组成,因此不需要无序排列或排序,聚合可以在mapper it中自行完成。