时间戳

首页 > 解决方案 > Spark SQL：是否可以从外部源读取自定义模式，而不是在 spark 代码中创建它？

scala - Spark SQL：是否可以从外部源读取自定义模式，而不是在 spark 代码中创建它？

问题描述

尝试在没有模式推断的情况下加载 csv 文件。通常我们在 spark 代码中将模式创建为 StructType。是否可以将架构保存在外部文件（可能是属性/配置文件）中并在创建数据框时动态读取它？

val customSchema_v2 = new StructType()
  .add("PROPERTY_ID_2222", "int" )
  .add("OWNER_ID_2222", "int")

是否可以将模式（即“PROPERTY_ID_2222”、“int”和“OWNER_ID_2222”、“int”）保存在文件中并从那里调用模式？

标签： scalaapache-sparkapache-spark-sql

解决方案

StructType 和 StructField 都可以 Serializable，所以你可以将一个 StructType 序列化为一个文件，并在需要的时候反序列化

推荐阅读