sqoop与hdfs命令

7nbnzgx9  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(485)

我是sqoop的新手。据我所知,sqoop命令用于将mysql等数据库中的数据导入hdfs和viceversa,hdfs命令用于处理hdfs中的数据,例如将hdfs中的数据导入本地文件系统和viceversa。我们不能用sqoop命令来处理hdfs中的数据吗?把本地文件系统中的数据传给hdfs和viceversa。请让我知道sqoop和hdfs命令之间的确切区别。为什么我们有两个不同的东西。为什么他们不把这些命令放在一个集合里。抱歉,如果我的问题说不通的话。

myzjeezk

myzjeezk1#

sqoop-only功能将数据从rdbms(结构化)导入和导出到hadoop。它不提供任何其他hdfs内部活动。一旦使用sqoop到hdfs获得数据,hdfs命令将用于处理数据(复制、移动等)
更多的sqoop功能http://hortonworks.com/apache/sqoop/

332nm8kg

332nm8kg2#

是的,你的理解是正确的。
sqoop命令用于:
将数据从任何关系数据库(如mysql)导入hdfs/hive/hbase
将数据从hdfs/hive/hbase导出到任何关系数据库(如mysql)
hdfs命令用于:
将任何文件(如:.txt、.csv、.xls等)从本地复制/传输到hdfs,反之亦然。
用于:
为什么我们有两个不同的东西。为什么他们不把这些命令放在一个集合里。
回答:
sqoop命令(用于通过两个不同的系统复制结构化数据)
hdfs命令(用于复制带本地和hdfs的文件)
使用sqoop我们无法将文件从本地复制到hdfs和viceversa
还有
使用hdfs命令,我们无法将数据从hdfs复制到任何其他外部数据库(如mysql)和viceversa。

dpiehjr4

dpiehjr43#

sqoop命令的作用如下:1)将数据从任何数据库导入/导出到hdfs/hive/hbase,反之亦然。它不仅限于hdfs的导入和导出。2) 如果我们需要移动整个数据库/表列表,那么数据可以一次处理完。3) 只能通过sqoop命令导入增量数据。4) 它还需要连接驱动程序来连接到数据库简言之,它处理表/数据库。
hdfs命令:1)它只用于将任何类型(csv、text、xls)的文件从本地传输到hdfs,反之亦然。它只提供将数据从一个系统移动或复制到另一个系统的基本功能,就像unix命令一样。

相关问题