json - Spark json 模式验证

Question

我正在使用 python 库 Draft7Validator ( https://python-jsonschema.readthedocs.io/en/stable/validate/ ) 来测试每个文件的 json 模式。不幸的是它很慢，在 scala/java 中有一个库，我可以在 Spark 中使用它来验证每个文件的 json 模式。

标签： jsonscalaapache-sparkvalidationschema

Answer 1

您可以使用everit进行 json 验证。您可以在这里找到一个示例， 我认为@Srinivas 还提供了一个不错的选项circe-json-schema，但是everit（它是 circe-json-schema 的基础库）也支持不同的草稿，因此这取决于您的验证要求和使用的草稿