python-3.x - 如何使用逗号分隔存储 JSON 数据帧
问题描述
我需要将数据帧的记录写入 json 文件。如果我将数据帧写入它存储的文件中{"a":1} {"b":2}
,我想像这样编写数据帧[{"a":1} ,{"b":2}]
。你能帮我么。提前致谢。
解决方案
使用to_json
函数创建array of json objects
然后使用.saveAsTextFile
保存 json 对象。
Example:
#sample dataframe
df=spark.createDataFrame([("a",1),("b",2)],["id","name"])
from pyspark.sql.functions import *
df.groupBy(lit("1")).\
agg(collect_list(struct(*[df.columns])).alias("cl")).\
select(to_json("cl").alias("jsn")).\
rdd.\
map(lambda x:x["jsn"]).\
saveAsTextFile("<path>")
cat <path>
#[{"id":"a","name":1},{"id":"b","name":2}]
推荐阅读
- mysql - mysql按最大值选择分组并获取唯一行
- sql-server - 将 Azure Devops 中所有 sprint 的开始和结束日期列表获取到我的数据库中?
- reactjs - React 路由器 - 将 api 数据传递给链接的组件以使用新页面打开
- javascript - 如何将使用按钮创建的对象添加到表中?
- api - 错误:[Dagger/MissingBinding] com.example.sirat.data.network.WeatherApi 不能在没有@Provides-annotated 方法的情况下提供
- node.js - Exported variable returning blank object
- unit-testing - org.mockito.exceptions.misusing.WrongTypeOfReturnValue while stubbing a function from a "spy" object with mockito in groovy
- c - what is a integer constant in c?
- python - 如何为我的窗口背景颜色设置动画?
- php - PHP / Apache fwrite 更新修改日期但不写入