以Parquet格式文件输出配置单元结果

f3temu5u  于 2021-06-03  发布在  Hadoop
关注(0)|答案(3)|浏览(451)

能否将配置单元查询结果导出为Parquet文件格式?我可以将结果导出为tsv,如下所示:

INSERT OVERWRITE DIRECTORY '/home/user/events'
row format delimited 
fields terminated by '\t'

但是我怎么告诉它用Parquet地板的形式呢?

0s0u357o

0s0u357o1#

插入覆盖目录'external\u directory'存储为parquet select*from source\u table\u name;

amrnrhlw

amrnrhlw2#

使用以下方法
创建表parque\u表(
)行格式serde'parquet.hive.serde.parquethiveserde'存储为inputformat“parquet.hive.deprecatedparquetinputformat”outputformat“parquet.hive.deprecatedparquetoutpformat”location'${hiveconf:hive_location}';
插入覆盖表parque\u table select from othertable

webghufk

webghufk3#

首先,您需要创建一个表,其中结果的模式存储在配置单元中,作为parquet。得到结果后,您可以像这样将它们导出到parquet文件格式表中

insert into table parquet_file_table_name select * from table_name_containing_results

有关更多信息,请参阅下面的链接
https://acadgild.com/blog/parquet-file-format-hadoop/

相关问题