时间戳

首页 > 解决方案 > 从字符串 PySpark 中获取年、月、日

python - 从字符串 PySpark 中获取年、月、日

问题描述

我需要从Spark dfYear, Month, Day, Hour列中的字符串中获取。Time我还需要将这些值保存在单独的列中。数据如下所示：

ID               Time
111            2020-03-23-12:40:04
112            2020-04-23-12:40:04
113            2020-05-23-12:40:04

所需的输出是：

ID        Year        Month        Day
111     2020         03            23
112     2020         04            23
113     2020         05            23

我试过了：

data_df.select(
    year("Time").alias('year'), 
    month("Time").alias('month'), 
    dayofmonth("Time").alias('day')
).show()

它返回所有 Null 值。

标签： pythonapache-sparkdatetimeparsingpyspark

解决方案

我假设该Time列是一个字符串。您可以使用正则表达式提取所需的值，但这会很痛苦。另一种选择是将字符串转换为时间戳，然后使用函数year等month。

此外，您的时间戳不是标准格式，因此您需要指定它。

data = [(111, '2020-03-23-12:40:04'),
        (112, '2020-04-23-12:40:04'),
        (113, '2020-05-23-12:40:04')]
df = spark.createDataFrame(data, ['ID', 'Time'])

df\
    .withColumn('t', F.to_timestamp('Time', 'yyyy-MM-dd-HH:mm:ss'))\
    .select('ID',
            F.year('t').alias('year'),
            F.month('t').alias('month'),
            F.dayofmonth('t').alias('day'),
            F.hour('t').alias('hour')
    ).show()

产生：

+---+----+-----+---+----+
| ID|year|month|day|hour|
+---+----+-----+---+----+
|111|2020|    3| 23|  12|
|112|2020|    4| 23|  12|
|113|2020|    5| 23|  12|
+---+----+-----+---+----+

推荐阅读