apache-spark - 保存到 csv 后 Pyspark 时间戳格式更改

Question

我有一个包含时间戳列的数据框。当我显示 df 我看到的值是：

但是当我将 df 保存到 csv 时，我看到的值为：

我已经尝试了这两种选择timestampFormat，dateformat但仍然相同。

q.coalesce(1).write.format("csv").option("dateFormat", "yyyy-MM-dd HH:mm:ss").save("/test_dhs/")

q.coalesce(1).write.format("csv").option("timestampFormat", "yyyy-MM-dd HH:mm:ss").save("/test_dhs/")

背景：

q=spark.read.parquet("/eureka/dhs_aco_ovrvw_000.parquet")

图式

样本数据集

标签： apache-sparkpyspark