首页 > 解决方案 > 日期列在 pyspark 数据框中填充为空

问题描述

我正在使用以下查询来转换DATE_Landing列。该DATE_Landing列的条目如下。

DATE_Landing
2021-04-28 00:00:00.0

预期输出:

DATE
2021-04-28

我试过的查询

final_query_RAW = spark.sql("select sum(salary) as salary, replace(DATE_Landing,' 00:00:00.0','') as DATE from empytable group by DATE_Landing").withColumn('DATE',(unix_timestamp(col('DATE_Landing'), 'dd-MM-yyyy').cast("Timestamp")))

当我使用上述查询时,我将 Date_landing 的值设为空。

你能帮我解决上述挑战吗

标签: pythonpysparkdatabricks

解决方案


推荐阅读