hadoop:sqoop-为什么jdbc代码是用reducer编写的?

6tdlim6h  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(337)

我是hadoop及其生态系统的新手。sqoop:从hdfs-rdbms导入/导出数据。与jdbc相关数据库兼容的sqoop。
为什么在从hdfs-rdbms导入和导出数据时,所有jdbc代码都是用reducer编写的,而不是用mappers编写的?有人说是为了避免ddos(分布式拒绝服务)。

kkih6yb8

kkih6yb81#

sqoop中没有缩减器。sqoop只需要Map器进行导入和导出。为了将数据从rdbms导入到hadoop,sqoop具有使用jdbc从数据库获取数据的输入格式。同样,sqoop具有outputformats,用于在从hadoop导出数据时将数据写入rdbms

相关问题