scala - 使用scala将时间戳更改为spark中的UTC格式

Question

问题与问题类似：Change the timestamp to UTC format in Pyspark

基本上，它是使用scala将带有偏移量的时间戳字符串格式 ISO8601 转换为 UTC 时间戳字符串（2017-08-01T14:30:00+05:30-> ） 。2017-08-01T09:00:00+00:00

我是 scala/java 的新手，我检查了 spark 库，他们在不知道时区的情况下无法转换，除非（我以丑陋的方式解析它或使用 java/scala lib？ ) 有人可以帮忙吗？

更新：执行此操作的更好方法：在 spark 中设置时区会话，并用于df.cast(DataTypes.TimestampType)执行时区转换

标签： scalaapache-sparkutctimestamp-with-timezone

Answer 1

org.apache.spark.sql.functions.to_utc_timestamp：

def to_utc_timestamp(ts: Column, tz: String): Column

给定一个时间戳，如“2017-07-14 02:40:00.0”，将其解释为给定时区的时间，并将该时间呈现为 UTC 时间戳。例如，“GMT+1”将产生“2017-07-14 01:40:00.0”。