sqoop导出分区配置单元表

eiee3dmh  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(384)

我有一个Hive表分区 year 以及 week 柱。因此,内容存储在hivewarehouse中的多个递归目录中,在我的例子中,这个表有100多个目录(分区)。
在这里,我不知道如何向用户提及配置单元表的目录细节 --export-dir 财产 sqoop-export 命令。
我必须单独提及所有100*目录吗 sqoop-export 命令?。有没有办法提到一个目录中的所有嵌套目录 sqoop-export 命令?。
也请让我知道,如果有任何其他更好的方法来解决这个?。
[注意:我的环境中没有hcatalog,我只想选择'export to hdfs directory'作为最后一个选项]

sg3maiej

sg3maiej1#

你试过以下几种吗?
--要分割的配置单元字段的配置单元分区键名称
--配置单元分区值用作此作业中导入到配置单元的分区键的字符串值。

r1wp621o

r1wp621o2#

尝试创建一个包含所有分区的外部表,并使用sqoop export中的external table目录。
1) part\u表(分区表);
2) 创建外部表xx\u dummy()位置
3) 插入覆盖xx\u dummy作为selectfrom part\u table
4) 运行sqoop导出
或者
尝试导出dir/user/name/

相关问题