scala - 如何在 Spark 和 Scala 中动态构建模型类

Question

当我有超过 100 个字段属性时，如何在 Spark 和 Scala 中动态构建模型类。就像我们使用 Thrift 或 Xml 或 JSON 文件在 Core Java 中构建模型/Pojo。

标签： scalaapache-spark

Answer 1

我想你正在寻找

https://github.com/julianpeeters/case-class-generator#case-class-generator

在运行时动态定义和加载 Scala 类。对于动态将 JSON 模式转换为 Scala 案例类很有用。允许运行时数据作为 Scala 案例类定义：

特征 ：

1. 在运行时定义和加载的案例类
2. 通过类型别名的伪类型提供程序

依赖：

"com.julianpeeters" %% "case-class-generator" % "0.7.1"

这个项目也支持 scala 2.11。