时间戳

首页 > 解决方案 > 无法将 pyspark 中的数据框复制到 Databricks 中的 csv 文件

pyspark - 无法将 pyspark 中的数据框复制到 Databricks 中的 csv 文件

问题描述

我在 Databricks 的 Pyspark 环境中工作，并且有一个 pyspark 数据框，我将其称为 df。

我需要将此 spark 数据框推送到 csv 文件中，但我无法这样做。虽然没有弹出错误，但数据框不会被复制到 csv 中。下面是通用代码

path = “ “ #CSV File Location
header = “This is the header of the file"
With open(path,”a”) as f:
    f.write(header+”\n”)
    df.write.csv(path=path,format=“csv”,mode=“append”)
    f.close

只有标头会反映在文件中，而不是数据帧中

标签： pysparkdatabricks

解决方案

您可以使用以下方法将数据框编写为 csv：

df.coalesce(1).write.format("com.databricks.spark.csv").option("header", "true").save("dbfs:/FileStore/df.csv")

Coalesce 避免将其保存在多个分区中。您可以将自己的路径作为参数放入save().

推荐阅读