apache-spark - 如何在 spark 中编写编码指定的 csv 文件？

Question

我想从 DataFrame 中编写一个 GBK 编码 csv 文件。我找到了该选项"encoding"，当我在本地环境中CSVOptions读取 GBK 编码文件时，它运行良好。option("encoding", "GBK")但是当我使用如下write功能时

df.repartition(1).write.option("header", value = true).option("encoding", "GBK").csv("F:\\project\\test1")

我得到的 csv 文件总是 UTF8 编码。我尝试将编码选项值更改为 ISO-8859-1 或其他编码格式，它不会更改输出 csv 文件编码。

标签： apache-sparkapache-spark-sql