python - 熊猫重新采样到每月的特定工作日

Question

我有一个 Pandas 数据框，我想在每个月的第三个星期五重新采样一次。

np.random.seed(0)
#requested output:
dates = pd.date_range("2018-01-01", "2018-08-31")
dates_df = pd.DataFrame(data=np.random.random(len(dates)), index=dates)
mask = (dates.weekday == 4) & (14 < dates.day) & (dates.day < 22)
dates_df.loc[mask]

但是当缺少第三个星期五时（例如删除二月第三个星期五），我想要最新的值（截至 2018 年 2 月 15 日）。使用掩码给了我下一个值（2 月 17 日而不是 2 月 15 日）：

# remove February third Friday:
dates_df = dates_df.drop([pd.to_datetime("2018-02-16")])
mask = (dates.weekday == 4) & (14 < dates.day) & (dates.day < 22)
dates_df.loc[mask]

将每月重新采样与 loffset 结合使用可以通过偏移索引给出月末值，这也不是我想要的：

from pandas.tseries.offsets import WeekOfMonth
dates_df.resample("M", loffset=WeekOfMonth(week=2, weekday=4)).last()

是否有替代方法（最好使用重新采样）而不必先重新采样到每日值然后添加掩码（这需要很长时间才能在我的数据帧上完成）

标签： pythonpandastime-series

Answer 1

您的第二次尝试是在正确的方向 IIUC，您只需要使用 WeekOfMonth 作为规则重新采样，而不是使用它作为偏移量：

dates_df.resample(WeekOfMonth(week=2, weekday=4)).asfreq().dropna()

这种方法不会抵消索引，它应该只返回每个月第三个星期五的数据。

处理失踪的第三个星期五：

使用上面的代码，如果您缺少第三个星期五，则整个月都将被排除在外。但是根据您要如何处理丢失的数据，您可以bfill, ffill, pad.. 您可以将上述内容修改为以下内容：

dates_df.resample(rule=WeekOfMonth(week=2,weekday=4)).bfill().asfreq(freq='D').dropna()

以上将bfill缺少下一个值的第三个星期五。

更新：让我们使用固定数据集而不是np.random：

# create a smaller daterange
dates = pd.date_range("2018-05-01", "2018-08-31")

# create a data with only 1,2,3 values
data = [1,2,3] * int(len(dates)/3)

dates_df = pd.DataFrame(data=data, index=dates)
dates_df.head()

# Output:

2018-05-01  1
2018-05-02  2
2018-05-03  3
2018-05-04  1
2018-05-05  2

现在让我们通过手动选择来检查每个月的第三个星期五的数据是什么样的：

dates_df.loc[[
    pd.Timestamp('2018-05-18'),
    pd.Timestamp('2018-06-15'),
    pd.Timestamp('2018-07-20'),
    pd.Timestamp('2018-08-17')
]]

Output:

2018-05-18  3
2018-06-15  1
2018-07-20  3
2018-08-17  1

如果您没有缺少任何第三个星期五并运行之前提供的代码：

dates_df.resample(rule=WeekOfMonth(week=2,weekday=4)).asfreq().dropna()

将产生以下输出：

2018-05-18  3
2018-06-15  1
2018-07-20  3
2018-08-17  1

正如您所看到的，这里的索引没有移动，它返回了每个月第三个星期五的准确值。

现在假设您确实缺少一些第 3 个星期五，具体取决于您要如何操作（使用上一个值：ffill或下一个值bfill）：

• pad / ffill：将最后一个有效观察值向前传播到下一个有效值
• backfill / bfill：使用 NEXT 有效观察来填补空白

dates_df.drop(index=pd.Timestamp('2018-08-17')).resample(rule=WeekOfMonth(week=2, weekday=4)).ffill().asfreq(freq='D').dropna()

2018-05-18  3
2018-06-15  1
2018-07-20  3
2018-08-17  3

dates_df.drop(index=pd.Timestamp('2018-08-17')).resample(rule=WeekOfMonth(week=2, weekday=4)).bfill().asfreq(freq='D').dropna()

2018-04-20  1
2018-05-18  3
2018-06-15  1
2018-07-20  3
2018-08-17  2

如果说整个索引像您的示例一样移动：

dates_df.resample(rule='M', loffset=WeekOfMonth(week=2, weekday=4)).asfreq().dropna()

# Output:

2018-06-15  1
2018-07-20  1
2018-08-17  2
2018-09-21  3

那里发生的事情是您按照规则“M”（月末）重新采样，然后在每个月的第三个星期五之前抵消（向前移动）索引。

正如您在偏移之前看到的那样，它的外观如下：

dates_df.resample(rule='M').asfreq().dropna()

# Output

2018-05-31  1
2018-06-30  1
2018-07-31  2
2018-08-31  3