scala - Spark DataFrame 中更惯用的日期转换为 ISO 8601 日期

Question

我正在将 Spark 2.4.5 与 Scala 2.12.11 一起使用，并且我有一个列registered是字符串，其中包含这些示例之后的日期，

Mar 23, 2005
Dec 6, 2005

我正在使用此代码将此列转换为 DateType，这在功能上似乎是正确的。步骤是，

• 将字符串“2005 年 12 月 6 日”转换为“2005-12-06”

• 用于cast(DateType)将 ISO 8601 日期转换为日期类型。

  import org.apache.spark.sql.functions.{col, udf}
  
  object Utils {
    private val dtFormatter = DateTimeFormatter.ofPattern("MMM d, yyyy")
  
    def convertToIso(date: String): Option[String] = {
      Option(date).map {
        nnDate =>
          val dt = dtFormatter.parse(nnDate)
          DateTimeFormatter.ISO_LOCAL_DATE.format(dt)
      }
    }
  
    def toIsoUdf: UserDefinedFunction = udf(convertToIso _)
  }
  
  private def structureProfiles(profileDf: DataFrame): DataFrame = {
    profileDf
      .withColumn(
        "registered_dt",
        Utils.toIsoUdf(col("registered")).cast(DateType))
  }
  

该列可能为空，因此使用Option它似乎可以正常工作。

有没有更惯用的方法？

更新

我发现了这种更简单的方法。Utils不需要。

import org.apache.spark.sql.functions.to_date

df1
  .withColumn(
    "registered", to_date(col("registered"), "MMM d, yyy"))

标签： scaladateapache-sparkdate-conversionidioms