我有一个Hive表分区 year
以及 week
柱。因此,内容存储在hivewarehouse中的多个递归目录中,在我的例子中,这个表有100多个目录(分区)。
在这里,我不知道如何向用户提及配置单元表的目录细节 --export-dir
财产 sqoop-export
命令。
我必须单独提及所有100*目录吗 sqoop-export
命令?。有没有办法提到一个目录中的所有嵌套目录 sqoop-export
命令?。
也请让我知道,如果有任何其他更好的方法来解决这个?。
[注意:我的环境中没有hcatalog,我只想选择'export to hdfs directory'作为最后一个选项]
2条答案
按热度按时间sg3maiej1#
你试过以下几种吗?
--要分割的配置单元字段的配置单元分区键名称
--配置单元分区值用作此作业中导入到配置单元的分区键的字符串值。
r1wp621o2#
尝试创建一个包含所有分区的外部表,并使用sqoop export中的external table目录。
1) part\u表(分区表);
2) 创建外部表xx\u dummy()位置
3) 插入覆盖xx\u dummy作为selectfrom part\u table
4) 运行sqoop导出
或者
尝试导出dir/user/name/