apache-spark - MLeap 实际上是一种序列化“格式”吗？

Question

我开始使用MLeap作为序列化工具，它允许将模型保存在 Spark 或 scikit-learn 中，并使用MLeap Runtime加载它进行推理。它运作良好。

现在我的目的是将使用 MLeap 保存的模型加载到我的 Java 代码中，加载到我自己的结构中，而无需 MLeap 运行时。我调查了一下，没有找到“模式”的任何“格式定义”，只有一些例子展示了一些序列化模型的样子。从这个角度来看，MLeap 看起来只是一个序列化/反序列化工具，而不是文档主页上声明的“格式”。

那么，MLeap 是一种“格式”还是只是一种序列化工具？我可以在某处找到格式定义或架构吗？

同样，我的目的是了解是否可以为 MLeap格式编写自定义序列化/反序列化工具，或者唯一的选择是为此使用 MLeap 工具？

标签： apache-sparkmleap

Answer 1

我想说，Mleap 是一个框架，可以将模型投入生产，而不需要你训练它们的框架的开销。这导致所需的低延迟。反序列化绝对是其中的一个重要部分，实际上您可以自由地存储您的管道。

我建议查看您使用 Mleap 创建的包含导出管道的包（zip 文件）。大多数序列化很容易理解：逻辑回归包含在一个 jsonfile 中，例如，它具有管道元素的标识符和系数。基本上是什么定义了逻辑回归模型。