pyspark - 如何在 AWS Glue 中将字符串转换为日期

Question

我在 AWS S3 中有一个 csv 文件，当我执行爬虫时，带有日期的字段01/01/2016 04.21被视为 AWS 胶水中的字符串。

如何将其更改为日期类型？

我尝试使用 AWS Glue 中的“修改架构”按钮，但它最终有一个空白字段。

标签： pysparketlaws-glueamazon-athena

Answer 1

将动态帧转换为 Pyspark 数据帧并将 Pyspark 用于所有内容。更轻松：

from pyspark.sql.functions import from_unixtime, unix_timestamp, col

df= dyf.toDF()
df = df.withColumn(col(columnname), from_unixtime(unix_timestamp(col(columnname),"dd/MM/yyyy hh.mm")))