json - 使用 Spark-Scala 解析列中的 JSON 根
问题描述
为了将 JSOM 的根转换为数据框中的记录以获取未确定数量的记录,我遇到了问题。
我有一个使用 JSON 生成的数据框,类似于以下内容:
val exampleJson = spark.createDataset(
"""
{"ITEM1512":
{"name":"Yin",
"address":{"city":"Columbus",
"state":"Ohio"}
},
"ITEM1518":
{"name":"Yang",
"address":{"city":"Working",
"state":"Marc"}
}
}""" :: Nil)
当我阅读以下说明时
val itemsExample = spark.read.json(exampleJson)
生成的模式和数据框如下:
+-----------------------+-----------------------+
|ITEM1512 |ITEM1518 |
+-----------------------+-----------------------+
|[[Columbus, Ohio], Yin]|[[Working, Marc], Yang]|
+-----------------------+-----------------------+
root
|-- ITEM1512: struct (nullable = true)
| |-- address: struct (nullable = true)
| | |-- city: string (nullable = true)
| | |-- state: string (nullable = true)
| |-- name: string (nullable = true)
|-- ITEM1518: struct (nullable = true)
| |-- address: struct (nullable = true)
| | |-- city: string (nullable = true)
| | |-- state: string (nullable = true)
| |-- name: string (nullable = true)
但我想生成这样的东西:
+-----------------------+-----------------------+
|Item |Values |
+-----------------------+-----------------------+
|ITEM1512 |[[Columbus, Ohio], Yin]|
|ITEM1518 |[[Working, Marc], Yang]|
+-----------------------+-----------------------+
因此,为了解析这个 JSON 数据,我需要读取所有列并将其添加到数据框中的记录中,因为我写的不仅仅是这两项作为示例。事实上,我想在数据框中添加数百万个项目。
我正在尝试复制此处找到的解决方案:How to parse the JSON data using Spark-Scala with this code:
val columns:Array[String] = itemsExample.columns
var arrayOfDFs:Array[DataFrame] = Array()
for(col_name <- columns){
val temp = itemsExample.selectExpr("explode("+col_name+") as element")
.select(
lit(col_name).as("Item"),
col("element.E").as("Value"))
arrayOfDFs = arrayOfDFs :+ temp
}
val jsonDF = arrayOfDFs.reduce(_ union _)
jsonDF.show(false)
但是我在阅读另一个问题的示例中遇到了这个问题,在我的情况下,根在数组中,根是StrucType。因此引发下一个异常:
ITEM1512
org.apache.spark.sql.AnalysisException:由于数据类型不匹配,无法解析“explode( )”:函数explode的输入应该是数组或映射类型,而不是结构,名称:字符串>
解决方案
你可以使用stack
函数。
Example:
itemsExample.selectExpr("""stack(2,'ITEM1512',ITEM1512,'ITEM1518',ITEM1518) as (Item,Values)""").
show(false)
//+--------+-----------------------+
//|Item |Values |
//+--------+-----------------------+
//|ITEM1512|[[Columbus, Ohio], Yin]|
//|ITEM1518|[[Working, Marc], Yang]|
//+--------+-----------------------+
更新:
Dynamic Stack query:
val stack=df.columns.map(x => s"'${x}',${x}").mkString(s"stack(${df.columns.size},",",",")as (Item,Values)")
//stack(2,'ITEM1512',ITEM1512,'ITEM1518',ITEM1518) as (Item,Values)
itemsExample.selectExpr(stack).show()
//+--------+-----------------------+
//|Item |Values |
//+--------+-----------------------+
//|ITEM1512|[[Columbus, Ohio], Yin]|
//|ITEM1518|[[Working, Marc], Yang]|
//+--------+-----------------------+
推荐阅读
- javascript - 从 11 更新到 12 版本后,Angular 项目不起作用
- sql - 仅当sql表中不存在值时如何检查和插入值
- python - 在乌龟中对齐是什么意思?
- c# - 是否可以在 UWP MapControl 中更改天空纹理?
- android - 无法使用视图绑定 Android Studio 加载图像(DS Photo Editor SDK)
- c - 内存读取时间
- python - 每次使用 glob.glob() 时都没有收集到具有特定扩展名的文件?
- typescript - 如何在代码中判断 ts-node 运行时不会调用 `register()`?
- php - 找不到类'App\Models\Dosen' laravel 7
- c# - 适用于 Visual Studio 2017 的 Crystal Reports - 导出报表