azure - 将数据帧保存为 csv 文件（在数据块中处理）并将其上传到 azure datalake blob 存储

Question

我有一个 csv 文件存储在 azure datalake 存储中，我通过在我的 databricks 集群中安装 datalake 帐户将其导入 databricks，在进行预处理后，我想将 csv 存储回同一个 datalakegen2（blobstorage）帐户中。任何线索和帮助问题表示赞赏。谢谢。

标签： azurepysparkdatabricksazure-data-lake

Answer 1

只需将其直接保存到 Blob 存储即可。

df.write.
    format("com.databricks.spark.csv").
    option("header", "true").
    save("myfile.csv")

在本地保存文件然后将其推送到 Blob 中没有意义。