scala - 从 spark scala 中的数据集创建 json 文件

Question

我有以下数据集：

+------+-----------+-------+----------+
|userID|   A       |B      |  C       |
+------+-----------+-------+----------+
|1     |242.0      |NULL   |7         |
|2     |NULL       |3.0    |5.0       |
|3     |NULL       |70.0   |17.0      |

我想将其转换为以下 json 格式：

"result":
[
{"userID": 1, "A": 242.0, "B": NULL, "C": 7 }, 
{"userID": 2, "A": NULL, "B": 3.0, "C": 5.0 }, 
{"userID": 3, "A": NULL, "B": 70.0, "C": 17.0 }, 
]

我很感激这方面的帮助。

标签： scalaapache-sparkapache-spark-sql

Answer 1

myDataset.write.json("/tmp/my_dir/")