使用Python检查具有未知结构的海量JSON

qyuhtwio  于 2023-03-31  发布在  Python
关注(0)|答案(1)|浏览(95)

我有一个130GB的JSON文件,它的结构未知,我希望最终能够解析和查询它。挑战在于对象的结构在整个文件中多次更改(我认为该文件是数据库表的转储),所以我认为我不能简单地将其分块并逐个处理,因为我不知道一个对象从哪里开始,另一个从哪里开始。
该文件是一家大型保险公司的公开价格透明度(这里是link)。保险公司竭尽全力保持这些数据的私密性,所以我认为他们没有什么动机让这些数据更容易使用。
任何关于我可以使用的策略的建议都将不胜感激。

kmpatx3s

kmpatx3s1#

简短的回答,你不能,你将不得不使用ijson和发出事件解析这些事件。最后,你正在寻找的模式是这里inn file schema

相关问题