首页 > 解决方案 > 在 scala maps/trie maps 中存储类实例

问题描述

我正在研究一种将类(例如经过训练的 spark 线性回归模型)存储在 map / trie map 之类的实现中的功能,以便以后可以在需要时检索它。

我想出了一种在 scala 中使用序列化器/序列化的代码方法,在其中我将类转换Array[Bytes]为 triemap 并将其存储到 triemap 中并稍后检索它。

想知道我是否可以跳过转换并将火花模型直接存储到单个 triemap 中。

标签: scalaclassapache-sparkshapeless

解决方案


理想的方法是使用 PMML。您应该将经过训练的模型保存为 PMML 模型,然后将其加载到测试数据上。有关如何在 spark 中使用 PMML 模型的示例,请参阅链接。

https://spark.apache.org/docs/2.3.0/mllib-pmml-model-export.html


推荐阅读