scala - Spark数据框将所有列转换为json格式，然后修改json结构

Question

使用 df.toJSON 将我的数据框转换为 json

json 转换后的模式如下所示：

root
 |-- value: string (nullable = true)

将当前模式（即所有根级别属性；在本例中为“值”列）嵌套到新的根级别 json 键（称为“数据”）中并在根级别添加新属性的最佳方法是什么。如何在scala中实现这一点。

标签： scaladataframeapache-sparkapache-spark-sql

Answer 1

请检查以下代码。

scala> df.toJSON.select(struct($"value").as("data")).printSchema
root
 |-- data: struct (nullable = false)
 |    |-- value: string (nullable = true)