我必须使用 sqoop
将mysql数据库中的所有表导入 hdfs
以及 external tables
在 hive
(无过滤器,结构相同)
在导入中,我想带来:
现有表的新数据
已更新现有表的数据(仅使用id列)
在mysql中创建的新表(y在hive中创建外部表)
然后创建一个 sqoop job
自动完成。
(我有一个 mysql
数据库中有大约60个表,随着每个新客户机投入生产,将创建一个新表。所以我需要 sqoop
尽可能自动地工作)
为导入所有表而执行的第一个命令是: sqoop import-all-tables --connect jdbc:mysql://IP/db_name --username user --password pass --warehouse-dir /user/hdfs/db_name -m 1
这里的spoop和对外部配置单元表的支持表示,在中添加了对创建外部表的支持 hive
,但我没有找到有关上述命令的文档或示例
在这方面的最佳实践是什么 sqoop
它会查看来自 mysql
数据库并传递到 hdfs
以及 hive
?
有什么主意都行。
提前谢谢。
编辑:对外部配置单元表(sqoop-816)的独家报道和支持仍未解决
暂无答案!
目前还没有任何答案,快来回答吧!