雅典娜:跳过标题行与lazysimpleserde

4nkexdtk  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(401)

想知道是否可以跳过中的标题行 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe 在雅典娜。我试过了 tblproperties ( 'skip.header.line.count' = '1' ) 但不起作用。我认为它可以与opencsvserde一起使用,但它似乎只支持 string 将在查询中完成大量工作的数据类型。

sr4lhrrt

sr4lhrrt1#

我刚刚尝试了以下方法:
创建csv并将其上载到s3:

breed_id, breen_name, category
1,pug,toy
2,German Shepard,working,
3,Scottish Terrier,Working

在athena中运行以下ddl:

create external table dogs (
  breed_id int, 
  breen_name string, 
  category string
)
ROW FORMAT DELIMITED
 FIELDS TERMINATED BY ','
 LINES TERMINATED BY '\n'
LOCATION 's3://XXXXXXXXXXXXXX/'
TBLPROPERTIES ('skip.header.line.count'='1')
;

然后运行以下查询:

SELECT * FROM "default"."dogs" LIMIT 10;

产生以下结果:

相关问题