python - 带有日期列表的 Pyspark DF（使用 PANDAS）从今天开始 BACK 1 年

Question

大家早，

我正在尝试创建一个 Pyspark DF，其中包含从今天开始 1 年的日期列表。

到目前为止，我可以从今天开始使用这个列表

import pandas as pd
dates = pd.date_range(pd.datetime.today(), periods=365).tolist()
dates = list(map(pd.Timestamp.to_pydatetime, dates))
dates_df = spark.createDataFrame(dates, T.TimestampType())

但它给了我

value
2018-08-01
2018-08-02
...  
2019-08-02

我试过了

dates ['new_value'] = dates['value'].apply(lambda x: x - pd.DateOffset(years=1)) 

但是不行……我真正想要的是

value
2018-08-01
2018-07-31
...  
2017-07-21

想法？

标签： pythonpandaspysparkpyspark-sql

Answer 1

将您设置pd.date_range为在当天结束，并保持您的月经相同，然后只需反转系列：

dates = pd.date_range(end=pd.datetime.today(), periods=365).tolist()[::-1]

输出：

[Timestamp('2018-07-31 23:06:54.977885', freq='D'),
 Timestamp('2018-07-30 23:06:54.977885', freq='D'),
 Timestamp('2018-07-29 23:06:54.977885', freq='D'),
 Timestamp('2018-07-28 23:06:54.977885', freq='D'),
 Timestamp('2018-07-27 23:06:54.977885', freq='D')
...
 Timestamp('2017-08-05 23:06:54.977885', freq='D'),
 Timestamp('2017-08-04 23:06:54.977885', freq='D'),
 Timestamp('2017-08-03 23:06:54.977885', freq='D'),
 Timestamp('2017-08-02 23:06:54.977885', freq='D'),
 Timestamp('2017-08-01 23:06:54.977885', freq='D')]