我试图解析一些巨大的json文件(比如http://eu.battle.net/auction-data/258993a3c6b974ef3e6f22ea6f822720/auctions.json)使用gson库(http://code.google.com/p/google-gson/)在 java 。
我想知道什么是最好的方法来解析这种大文件(约80k行),如果你可能知道好的api,可以帮助我处理这个。
一些想法。。。
逐行阅读并去掉json格式:但这是胡说八道。
通过将这个文件拆分成许多其他文件来减少json文件:但是我没有找到任何好的javaapi。
直接将此文件用作非SQL数据库,保留该文件并将其用作我的数据库。
我真的很感激adices/帮助/留言/:-)谢谢。
3条答案
按热度按时间ep6jt1vc1#
你不需要换成Jackson。gson2.1引入了一个新的typeadapter接口,它允许混合树和流序列化以及反序列化。
api是高效和灵活的。请参阅gson的streaming doc,以获取结合树模式和绑定模式的示例。这是严格优于混合流和树模式;通过绑定,您不会浪费内存来构建值的中间表示。
像jackson一样,gson有api递归地跳过不需要的值;gson调用这个skipvalue()。
plicqrtu2#
我建议看一下jacksonapi,将流和树模型解析选项结合起来非常容易:您可以以流的方式将文件作为一个整体移动,然后将单个对象读入树结构。
作为一个例子,让我们采用以下输入:
想象一下,字段是稀疏的,或者记录的结构更复杂。
下面的代码片段演示了如何结合使用流和树模型解析来读取此文件。每个单独的记录都是以树形结构读取的,但是文件永远不会全部读取到内存中,这样就可以在使用最小内存的情况下处理千兆字节大小的json文件。
可以猜到,每次调用nexttoken()都会给出下一个解析事件:start object、start field、start array、start object、…、end object、…、end array、。。。
这个
jp.readValueAsTree()
调用允许将当前解析位置的内容(json对象或数组)读入jackson的通用json树模型。一旦您有了这个,您就可以随机地访问数据,而不管文件中出现的顺序如何(在示例中,field1和field2并不总是以相同的顺序出现)。jackson也支持Map到您自己的java对象。skipchildren()很方便:它允许跳过一个完整的对象树或数组,而不必自己运行其中包含的所有事件。v8wbuo2f3#
声明流Map(dsm)库允许您定义json或xml数据与pojo之间的Map。所以不需要编写自定义解析器。我̇t具有强大的脚本(javascript、groovy、jexl)支持。您可以在阅读时过滤和转换数据。您可以在读取数据时调用函数进行部分数据操作。dsm以流的形式读取数据,因此它使用非常低的内存。
例如,
假设上面的代码片段是巨大而复杂的json数据的一部分。我们只想要薪水超过10000的东西。
首先,我们必须定义如下的Map定义。如您所见,它只是一个yaml文件,包含pojo字段和json数据字段之间的Map。
为流程人员创建functionexecutor。
使用dsm处理json
产出:(只包括工资高于10000的员工)