apache-spark - 使用自定义行/行分隔符/分隔符将 DataFrame 写入 csv 文件

Question

我需要生成一个分隔文件，其中每一行由'^'分隔，列由'|'分隔。

似乎没有选项可以更改 csv 输出类型的行分隔符。

例如：

df.coalesce(1).write\
.format("com.databricks.spark.csv")\
.mode("overwrite")\
.option("header", "true")\
.option("sep","|")\
# no options for setting lineSep to '^' 
.save(destination_path)

标签： apache-sparkpysparkapache-spark-sql

Answer 1

一种解决方案包括将 DataFrame 转换为 rdd ：

df.rdd.map(x=>x.mkString("^")).saveAsTextFile("OutCSV")