用 Impala 写s3Parquet

sycxhyv7 于 2021-06-01 发布在 Hadoop

关注(0)|答案(2)|浏览(336)

我想写一个完整的表到s3a在Parquet格式。我们把这个表叫做\u schem.thattable。我想使用一个 Impala 查询来选择*where to \u date（create \u time）='yyyy-mm-dd'
要将其写入parquet s3的确切语法是什么？

2条答案

CREATE TABLE schema.temp_c 
STORED AS PARQUET LOCATION "s3a://s3highlevel/c/lowlevel" AS 
SELECT * FROM schema.table

假设已经配置了s3系统，您可以在特定位置创建一个外部表并将其插入其中

CREATE EXTERNAL TABLE abc_schem.thattable(
... 
) 
STORED AS PARQUET 
LOCATION 's3a://bucket/path';

那就用点 LOAD DATA 或者 INSERT INTO... SELECT... FROM 获取数据的命令