将配置单元外部表的选择性列导出到azure blob存储目录

7vux5j2d  于 2021-06-24  发布在  Hive
关注(0)|答案(0)|浏览(230)

我有一个配置单元外部表(比如tbl),有大约400列和1亿条记录(存储在azuredatalake位置)。表格以Parquet格式存储。
现在,我想导出hql查询的结果数据,也就是从tbl中简单地选择a,b,c,到azureblob存储位置中的一个文件位置。
目标表需要采用管道分隔的txt文件,该文件最好压缩为gzip(gz)格式。
我目前正在使用 INSERT INTO DIRECTORY... 为gzip压缩指定输出文件类型并使用hiveconf设置。
我的问题是,我无法控制输出文件部分的数量。我只需要10个输出文件压缩部分。有办法做到这一点吗?
谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题