csv - Spark Write csv - 时间戳格式问题

Question

我在 hive 表中的时间戳格式最长为 6 毫秒，同时写入 spark CSV 格式 - 它不允许我写超过 3 毫秒。

1) 源格式：“yyyy-mm-dd hh:mi:ss.SSSSSS”
2) csv 格式：“yyyy-mm-dd hh:mi:ss.SSS”

• 即使在写入 CSV 中指定了最多 6 SSSSSS 毫秒的格式，也不起作用。

  DF.write.
  option("sep","~").
  option("quoteAll", "true").
  option("timestampFormat","yyyy-MM-dd HH:mm:ss.SSSSSS")
  

  • 不工作？

有人知道任何解决方案吗？

标签： csvapache-sparktimestamp

Answer 1

这是对我有用的代码片段。

我需要一个“T”字符，没有秒或微秒。timestampFormat选项确实适用于此。

DF.write
.mode(SaveMode.Overwrite)
.option("timestampFormat", "yyyy-MM-dd'T'HH:mm")

如2017-02-20T06:53

如果你用空格代替“T”，那么你会得到：

DF.write
.mode(SaveMode.Overwrite)
.option("timestampFormat", "yyyy-MM-dd HH:mm")

如2017-02-20 06:53