时间戳

首页 > 解决方案 > 如何在 spark-scala 中将字符串列（仅包含 time 而不包含 date 的列）转换为 time_stamp？

scala - 如何在 spark-scala 中将字符串列（仅包含 time 而不包含 date 的列）转换为 time_stamp？

问题描述

我需要将仅包含时间作为字符串的列转换为时间戳类型或火花中可用的任何其他时间函数。

下面是具有“Time_eg”作为字符串列的测试数据框，

Time_eg
12:49:09 AM
12:50:18 AM

Schema 在它转换为时间之前，

Time_eg：字符串（可为空=真）

//Converting to time stamp
val transType= test.withColumn("Time_eg", test("Time_eg").cast("timestamp"))

Schema 转换为时间戳后，Schema 为

Time_eg：时间戳（可为空=真）

但是“Time_eg”列的输出transType.show()为空值。

请让我知道如何将仅包含时间作为字符串的列转换为 spark scala 中的时间戳？

如果有人可以提供帮助，将不胜感激？

谢谢

标签： scalaapache-spark

解决方案

您需要使用特定的函数将字符串转换为时间戳，并指定格式。此外，Spark 中的时间戳表示完整的日期（带有一天中的时间）。如果您不提供日期，它将设置为 1970 年 1 月 1 日，即 unix 时间戳的开始。

在您的情况下，您可以按如下方式转换字符串：

Seq("12:49:09 AM", "09:00:00 PM")
    .toDF("Time_eg")
    .select(to_timestamp('Time_eg, "hh:mm:ss aa") as "ts")
    .show
+-------------------+
|                 ts|
+-------------------+
|1970-01-01 00:49:09|
|1970-01-01 21:00:00|
+-------------------+

推荐阅读