多存储与avro?

9jyewag0  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(368)

我有一个包含多个avro记录的文件。每个记录都包含一个唯一的“名称”。如何加载和存储文件,使每个文件都表示一个与给定名称对应的记录?
以下是我的avro模式:

{
    "type": "records",
    "name": "XXItem",
    "namespace": "com.xxx.xxx",
    "fields": [
        {
            "name": "data",
            "type":  {"type": "map", "values" : ["string", "long", "int"]}
        }
    ]
}
jobtbby3

jobtbby31#

快速检查似乎表明avro只是使用json存储数据。通过寻找处理json的解决方案,您应该能够找到适合自己的解决方案。
这可能是一个起点:hadoop for json文件

相关问题