python - 将 DataFrame 中每年的每日值与另一个特定年份的同一天数的值进行比较

Question

我有一个可以追溯到 1990 年的金融工具收盘价的每日时间序列。

我试图将前几年每个交易日的每日百分比变化与 2019 年的相应交易日进行比较。我目前有 2019 年 41 个交易日的数据。

到目前为止，我已经过滤并创建了一个新的 DataFrame，其中只有前 41 个日期、收盘价、每日百分比变化以及集合中每一天的“一年中的交易日”（“tdoy”）分类器，但不是从那里有运​​气。

我发现了其他 Stack Overflow 问题，可以帮助人们比较datetime天、周、年等，但由于每个“tdoy”代表的任意值，我无法重新创建它。

由于行数的原因，我不会费心创建示例 DataFrame，所以我已经将我提出的 CSV 链接到这一点：Sample CSV。

我认为最简单的方法就是创建一个新列，该列返回每个相应的“tdoy”（一年中的交易日）的 2019 年百分比变化df.loc，如果我能弄清楚这一点，我可以再创建一个列将该年/日的百分比变化与 2019 年的相应值进行简单的差异。以下是我尝试使用的（并且我尝试了其他变体）无济于事。 df['2019'] = df['perc'].loc[((df.year == 2019) & (df.tdoy == df.tdoy))]

我尝试在我的问题的大约 20 种不同变体中搜索 Stack 和 Google，但似乎找不到适合我任意“年度交易日”分类问题的答案。

我确信答案就在我面前的某个地方，但我对数据争论仍然很陌生。

标签： pythonpandasdataframecomparetime-series

Answer 1

第一步是正确导入 csv。我不确定您是否进行了调整，但您数据的日期列是一个字符串对象。

# import the csv and assign to df. parse dates to datetime
df = pd.read_csv('TimeSeriesEx.csv', parse_dates=['Dates'])

# filter the dataframe so that you only have 2019 and 2018 data
df=df[df['year'] >= 2018]
df.tail()

    Unnamed: 0  Dates       last    perc        year    tdoy
1225    7601    2019-02-20  29.96   0.007397    2019    37
1226    7602    2019-02-21  30.49   0.017690    2019    38
1227    7603    2019-02-22  30.51   0.000656    2019    39
1228    7604    2019-02-25  30.36   -0.004916   2019    40
1229    7605    2019-02-26  30.03   -0.010870   2019    41

将 tdoy 和 year 放入一个多索引中。

# create a multiindex
df.set_index(['tdoy','year'], inplace=True)

df.tail()

                    Dates       last    perc
tdoy    year                
37  2019    7601    2019-02-20  29.96   0.007397
38  2019    7602    2019-02-21  30.49   0.017690
39  2019    7603    2019-02-22  30.51   0.000656
40  2019    7604    2019-02-25  30.36   -0.004916
41  2019    7605    2019-02-26  30.03   -0.010870

制作数据透视表

# make a pivot table and assign it to a variable
df1 = df.pivot_table(values='last', index='tdoy', columns='year')

df1.head()

year 2018   2019
tdoy        
1   33.08   27.55
2   33.38   27.90
3   33.76   28.18
4   33.74   28.41
5   33.65   28.26

创建计算列

# create the new column
df1['pct_change'] = (df1[2019]-df1[2018])/df1[2018]

df1

year 2018   2019    pct_change
tdoy            
1   33.08   27.55   -0.167170
2   33.38   27.90   -0.164170
3   33.76   28.18   -0.165284
4   33.74   28.41   -0.157973
5   33.65   28.26   -0.160178
6   33.43   28.18   -0.157045
7   33.55   28.32   -0.155887
8   33.29   27.94   -0.160709
9   32.97   28.17   -0.145587
10  32.93   28.11   -0.146371
11  32.93   28.24   -0.142423
12  32.79   28.23   -0.139067
13  32.51   28.77   -0.115042
14  32.23   29.01   -0.099907
15  32.28   29.01   -0.101301
16  32.16   29.06   -0.096393
17  32.52   29.38   -0.096556
18  32.68   29.51   -0.097001
19  32.50   30.03   -0.076000
20  32.79   30.30   -0.075938
21  32.87   30.11   -0.083967
22  33.08   30.42   -0.080411
23  33.07   30.17   -0.087693
24  32.90   29.89   -0.091489
25  32.51   30.13   -0.073208
26  32.50   30.38   -0.065231
27  33.16   30.90   -0.068154
28  32.56   30.81   -0.053747
29  32.21   30.87   -0.041602
30  31.96   30.24   -0.053817
31  31.85   30.33   -0.047724
32  31.57   29.99   -0.050048
33  31.80   29.89   -0.060063
34  31.70   29.95   -0.055205
35  31.54   29.95   -0.050412
36  31.54   29.74   -0.057070
37  31.86   29.96   -0.059636
38  32.07   30.49   -0.049267
39  32.04   30.51   -0.047753
40  32.36   30.36   -0.061805
41  32.62   30.03   -0.079399

完全没有注释和数据，代码看起来像：

df = pd.read_csv('TimeSeriesEx.csv', parse_dates=['Dates'])
df=df[df['year'] >= 2018]
df.set_index(['tdoy','year'], inplace=True)
df1 = df.pivot_table(values='last', index='tdoy', columns='year')
df1['pct_change'] = (df1[2019]-df1[2018])/df1[2018]

[编辑] 海报要求与 2019 年相比的所有日期。

df = pd.read_csv('TimeSeriesEx.csv', parse_dates=['Dates'])
df.set_index(['tdoy','year'], inplace=True)

忽略上面的年份过滤器，创建数据透视表

df1 = df.pivot_table(values='last', index='tdoy', columns='year')

创建一个遍历年份/列的循环，并为与 2019 年相比的每一年创建一个新字段。

for y in df1.columns:    
    df1[str(y) + '_pct_change'] = (df1[2019]-df1[y])/df1[y]

要查看一些数据...

df1.loc[1:4, "1990_pct_change":"1994_pct_change"]

year    1990_pct_change 1991_pct_change 1992_pct_change 1993_pct_change 1994_pct_change
tdoy                    
1       0.494845        0.328351        0.489189        0.345872    -0.069257
2       0.496781        0.364971        0.516304        0.361640    -0.045828
3       0.523243        0.382050        0.527371        0.369956    -0.035262
4       0.524960        0.400888        0.531536        0.367838    -0.034659

所有年份的最终代码：

df = pd.read_csv('TimeSeriesEx.csv', parse_dates=['Dates'])
df.set_index(['tdoy','year'], inplace=True)
df1 = df.pivot_table(values='last', index='tdoy', columns='year')
for y in df1.columns:    
    df1[str(y) + '_pct_change'] = (df1[2019]-df1[y])/df1[y]

df1