我已经创建了一个多节点hadoop集群并在其上安装了hive。另外,我在另一台远程机器上安装了mysql。我打算将存储在hdfs中的数据导出到关系数据库mysql中。我研究了如何使用sqoop实现这一点。因此,我发现我需要在mysql中创建一个表,该表的目标列的顺序与hive中的相同,并且具有适当的sql类型。然后使用sqoop导出命令。
我的问题是:如果表是在hive中分区的,并且在mysql中创建表时,我会相应地对它进行分区,那么sqoop export命令会保留分区吗?我的问题类似于sqoop导出mysql分区。我想知道是否在sqoop中添加了分区支持。
这将帮助我决定是继续为任务安装scoop,还是使用我为它编写的一些自定义python脚本。
谢谢您。
1条答案
按热度按时间pbossiut1#
当与mysql对话时,sqoop将在jdbc层工作。它不会意识到底层分区,mysql会在插入或更新记录时处理这个问题。