spark json模式验证

dojqjjoe  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(383)

我正在使用python库draft7validator(https://python-jsonschema.readthedocs.io/en/stable/validate/)测试每个文件的json模式。不幸的是,它很慢,在scala/java中有一个库,我可以在spark中使用它来验证每个文件的json模式。

zkure5ic

zkure5ic1#

您可以使用everit进行json验证。您可以在这里找到一个示例,我认为@srinivas还提供了一个很好的选项circe json schema,但是everit(它是circe json schema的基础库)也支持不同的草稿,因此它将取决于您的验证需求和要使用的草稿

相关问题