使用sqoop和rename导入表

hujrc8aj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(378)

我是hadoop和friends的新手。我在这里查看cloudera教程示例:http://www.cloudera.com/content/www/en-us/developers/get-started-with-hadoop-tutorial/exercise-1.html 基本上包含以下命令:

> sqoop import-all-tables \
    -m {{cluster_data.worker_node_hostname.length}} \
    --connect jdbc:mysql://{{cluster_data.manager_node_hostname}}:3306/retail_db \
    --username=retail_dba \
    --password=cloudera \
    --compression-codec=snappy \
    --as-parquetfile \
    --warehouse-dir=/user/hive/warehouse \
    --hive-import

此命令在我的案例中失败,因为在我的配置单元仓库中已经有同名的表。在将表导入到配置单元时,是否可以重命名这些表(或底层数据库名称)?我似乎看不出这个选择。
威拉万

guykilcj

guykilcj1#

可以使用--hive table选项为表提供自定义名称。

sqoop-import --connect jdbc:mysql://localhost:3306/mysql_dbname --username root --password cloudera --table orders1 --hive-import**--hive-table**test.oct8_2 --create-hive-table -m 1

您可以在hdfs path中看到目录结构:

[cloudera@quickstart ~]$ hadoop fs -ls /user/hive/warehouse/test.db
Found 3 items
drwxrwxrwx   - cloudera supergroup          0 2019-10-07 19:20 /user/hive/warehouse/test.db/oct8
drwxrwxrwx   - cloudera supergroup          0 2019-10-07 19:26 /user/hive/warehouse/test.db/oct8_2
drwxrwxrwx   - cloudera supergroup          0 2018-12-06 03:16 /user/hive/warehouse/test.db/xmlcsv

相关问题