这个问题是在最近的一次采访中问我的。据我所知，我们可以使用sqoop在rdbms和hadoop生态系统（hdfs、hive、pig、hbase）之间传输数据。有人能帮我找到答案吗？
5sxhfpxr1#
据我所知，sqoop无法将任何结构化数据文件（如csv）移动到hdfs或其他hadoop生态系统组件（如hive、hbase等）。为什么要使用sqoop呢？您可以使用rest、web或javaapi将任何数据文件直接放入hdfs。sqoop并不适用于这种类型的用例。sqoop导入的主要目的是并行地从rdbms获取数据。除此之外，sqoop还有sqoop import mainframe。这个 import-mainframe 该工具将大型机上的分区数据集（pds）中的所有顺序数据集导入hdfs。pds类似于开放系统上的目录。数据集中的记录只能包含字符数据。记录将与整个记录一起存储为单个文本字段。
import-mainframe
1条答案
按热度按时间5sxhfpxr1#
据我所知，sqoop无法将任何结构化数据文件（如csv）移动到hdfs或其他hadoop生态系统组件（如hive、hbase等）。
为什么要使用sqoop呢？
您可以使用rest、web或javaapi将任何数据文件直接放入hdfs。
sqoop并不适用于这种类型的用例。
sqoop导入的主要目的是并行地从rdbms获取数据。
除此之外，sqoop还有sqoop import mainframe。
这个
import-mainframe该工具将大型机上的分区数据集（pds）中的所有顺序数据集导入hdfs。pds类似于开放系统上的目录。数据集中的记录只能包含字符数据。记录将与整个记录一起存储为单个文本字段。