apache-spark - 在 csv 文件中写入数据框正在从字符串列中删除前导空格

Question

假设我有一个 csv 文件：

UserName
"Ali "
"Bilal "
"Ahsan "

当我在 Spark 中阅读此内容时，数据是正确的。

------------
- UserName -
------------
- Ali      -
- Bilal    -
- Ahsan    -

但是当我将它写回 csv 文件时，空格会被删除并且文件有输出

UserName
"Ali"
"Bilal"
"Ahsan"

任何帮助将不胜感激。谢谢

标签： apache-sparkpysparkapache-spark-sql

Answer 1

在编写时，使用选项 ignoreLeadingWhiteSpace 并且 ignoreTrailingWhiteSpace 为真。默认情况下，在 spark 中写入 csv 时它们为 false，在读取时为 true。

df.write.format("csv").option("ignoreTrailingWhiteSpace",true)..option("ignoreLeadingWhiteSpace",true).save(path)

如果解决了，请接受答案。