使用sqoop、hdfs和hive的最佳实践

aiazj4mn  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(302)

我必须使用 sqoop 将mysql数据库中的所有表导入 hdfs 以及 external tableshive (无过滤器,结构相同)
在导入中,我想带来:
现有表的新数据
已更新现有表的数据(仅使用id列)
在mysql中创建的新表(y在hive中创建外部表)
然后创建一个 sqoop job 自动完成。
(我有一个 mysql 数据库中有大约60个表,随着每个新客户机投入生产,将创建一个新表。所以我需要 sqoop 尽可能自动地工作)
为导入所有表而执行的第一个命令是: sqoop import-all-tables --connect jdbc:mysql://IP/db_name --username user --password pass --warehouse-dir /user/hdfs/db_name -m 1 这里的spoop和对外部配置单元表的支持表示,在中添加了对创建外部表的支持 hive ,但我没有找到有关上述命令的文档或示例
在这方面的最佳实践是什么 sqoop 它会查看来自 mysql 数据库并传递到 hdfs 以及 hive ?
有什么主意都行。
提前谢谢。
编辑:对外部配置单元表(sqoop-816)的独家报道和支持仍未解决

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题