sqoop是否从hdfs导出到mysql

apeeds0o  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(360)

我已经创建了一个多节点hadoop集群并在其上安装了hive。另外,我在另一台远程机器上安装了mysql。我打算将存储在hdfs中的数据导出到关系数据库mysql中。我研究了如何使用sqoop实现这一点。因此,我发现我需要在mysql中创建一个表,该表的目标列的顺序与hive中的相同,并且具有适当的sql类型。然后使用sqoop导出命令。
我的问题是:如果表是在hive中分区的,并且在mysql中创建表时,我会相应地对它进行分区,那么sqoop export命令会保留分区吗?我的问题类似于sqoop导出mysql分区。我想知道是否在sqoop中添加了分区支持。
这将帮助我决定是继续为任务安装scoop,还是使用我为它编写的一些自定义python脚本。
谢谢您。

pbossiut

pbossiut1#

当与mysql对话时,sqoop将在jdbc层工作。它不会意识到底层分区,mysql会在插入或更新记录时处理这个问题。

相关问题