时间戳

首页 > 解决方案 > Spark JSON 将 JSON 中完整的字段读取到案例类中

json - Spark JSON 将 JSON 中完整的字段读取到案例类中

问题描述

考虑以下案例类模式，

case class Y (a: String, b: String)
case class X (dummy: String, b: Y)

字段 b 是可选的，我的一些数据集没有字段 b。当我尝试读取一个不包含的 JSON 字符串时，我收到一个字段丢失异常。

spark.read.json(Seq("{'dummy': '1', 'b': {'a': '1'}}").toDS).as[X]
org.apache.spark.sql.AnalysisException: No such struct field b in a;
  at org.apache.spark.sql.catalyst.expressions.ExtractValue$.findField(complexTypeExtractors.scala:85)
  at org.apache.spark.sql.catalyst.expressions.ExtractValue$.apply(complexTypeExtractors.scala:53)
  at org.apache.spark.sql.catalyst.analysis.Analyzer$$anonfun$resolveExpression$1.applyOrElse(Analyzer.scala:1074)
  at org.apache.spark.sql.catalyst.analysis.Analyzer$$anonfun$resolveExpression$1.applyOrElse(Analyzer.scala:1065)
  at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$2.apply(TreeNode.scala:282)
  at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$2.apply(TreeNode.scala:282)
  at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:70)

如何自动将 JSON 中不存在的字段反序列化为 null ？

标签： jsonscalaapache-sparkapache-spark-sql

解决方案

b将字段定义为Option类型并使用编码器创建结构类型模式。

  • 使用带有创建数据集.schema的选项传递定义的模式！case class X

Example:

case class Y (a: String, b: Option[String] = None)
case class X (dummy: String, b: Y)

import org.apache.spark.sql.Encoders

val schema = Encoders.product[X].schema

spark.read.schema(schema).json(Seq("{'dummy': '1', 'b': {'a': '1'}}").toDS).as[X].show()

//+-----+----+
//|dummy|   b|
//+-----+----+
//|    1|[1,]|
//+-----+----+

Select b column from struct type:

spark.read.schema(schema).json(Seq("{'dummy': '1', 'b': {'a': '1'}}").toDS).as[X].
select("b.b").show()

//+----+
//|   b|
//+----+
//|null|
//+----+

PrintSchema:

spark.read.schema(schema).json(Seq("{'dummy': '1', 'b': {'a': '1'}}").toDS).as[X].printSchema

//root
 //|-- dummy: string (nullable = true)
 //|-- b: struct (nullable = true)
 //|    |-- a: string (nullable = true)
 //|    |-- b: string (nullable = true)

推荐阅读