使用amazon athena和open jsonx serde复制密钥

zi8p0yeb  于 2021-06-27  发布在  Hive
关注(0)|答案(1)|浏览(463)

由于错误,我有以下数据:

{
  "eventType": "something",
  "details": {
    "userName": "NotSet",
    "username": "test@email.com"
  },
  "createdAt": 3
}

创建工作表:

CREATE EXTERNAL TABLE tbl (
         eventType string,
         `createdAt` string,
         details string 
) 
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
 LOCATION 's3://xx/yy'

但是,当我查询(尝试将详细信息转换为string、struct、map、always same)时,出现了重复键错误:

HIVE_CURSOR_ERROR: Row is not a valid JSON Object - JSONException: Duplicate key "username"

如果将它们用作行列,而不是Map键,甚至字符串,则它们是重复的,为什么失败?这个 org.apache.hive.hcatalog.data.JsonSerDe 可以跳过,但我不喜欢它,因为%99.5数据是这样的。这个 org.apache.hive.hcatalog.data.JsonSerDe 总是失败。

laximzn5

laximzn51#

presto不支持区分大小写的列名(它们总是转换为小写),因此不可能只区分大小写的多个列。

相关问题