首页 > 解决方案 > 将数据框保存到具有特定名称的 json 文件而不在 Pyspark 中创建分区文件

问题描述

我有一个数据框,我想将其写为具有特定名称的单个 json 文件。但它正在指定的文件名内创建一个分区文件。我如何让它直接将数据写入我传递给我的参数的文件名?以下是 Python 中的代码:

df_3.coalesce(1).write.format('json').mode('overwrite').save(filename)

数据现在写入 mylocation.json/part-00000 ,我只希望这是 mylocation.json 文件。

我将不胜感激任何帮助。

标签: jsonapache-sparkpysparkpartitioningcoalesce

解决方案


推荐阅读