python - MultiIndex的重采样
问题描述
我想按类型对数据集进行每日细分。没有每种类型的每一天的记录,它们不存在的地方我想要 NaN。
我能够得到一个“重新采样到每日”的结果,但是类型被省略了。
下面的代码应该是一个完整的示例(好吧,除了最后的已知错误!):
import pandas as pd
import datetime as dt
df = pd.DataFrame({
'Date': [dt.datetime(2021,1,1), dt.datetime(2021, 1, 3), dt.datetime(2020,1,2)],
'Type': ['A', 'A', 'B'],
'Value': [1,2,3]
})
df.set_index('Date', inplace=True)
# this loses the 'type'
print(df.resample('1D').mean())
df = df.reset_index().set_index(['Date', 'Type'])
# this raises an exception "TypeError: Only valid with DatetimeIndex, TimedeltaIndex or PeriodIndex, but got an instance of 'MultiIndex'"
print(df.resample('1D').mean())
我正在寻找的输出是每天/类型组合的一行:
日期 | 类型 | 价值 |
---|---|---|
20210101 | 一个 | 1 |
20210102 | 一个 | 钠 |
20210103 | 一个 | 2 |
20210101 | 乙 | 钠 |
20210102 | 乙 | 3 |
20210103 | 乙 | 钠 |
感激地收到任何建议或指示。
解决方案
如果需要每组重新采样,可以使用Grouper
每天重新采样,然后添加缺失值Series.unstack
用于DataFrame.stack
:
df = (df.groupby(['Type', pd.Grouper(freq='1D', key='Date')])['Value']
.mean()
.unstack()
.stack(dropna=False)
.reset_index(name='Value')
)
print (df)
Type Date Value
0 A 2021-01-01 1.0
1 A 2021-01-02 NaN
2 A 2021-01-03 2.0
3 B 2021-01-01 NaN
4 B 2021-01-02 3.0
5 B 2021-01-03 NaN
如果只需要添加每个组缺少的日期时间DataFrame.reindex
:
mux = pd.MultiIndex.from_product([df['Type'].unique(),
pd.date_range(df['Date'].min(), df['Date'].max())],
names=['Date','Type'])
df = df.set_index(['Type','Date']).reindex(mux).reset_index()
print (df)
Date Type Value
0 A 2021-01-01 1.0
1 A 2021-01-02 NaN
2 A 2021-01-03 2.0
3 B 2021-01-01 NaN
4 B 2021-01-02 3.0
5 B 2021-01-03 NaN
推荐阅读
- reactjs - 使用类组件反应原生导航 5 身份验证流程
- linux - 为 DNAT Nftables 创建 Set 或 Vmap
- go - 有没有办法在golang中同时检查和更改某些文件编码类型?
- c# - 从 c# 源代码中删除未使用的函数
- flutter - Carousel_Slider 不会返回数据更改的初始页面
- javascript - 如何从对象树中删除数据
- python - Python:fernet 密钥错误/NameError:未定义名称“fernet”
- javascript - 如何更新图像的 src
- java - JPanel 图像中的尺寸不正确
- java - 对多个按钮/JLabels 使用 MouseListener 的 mouseEntered 方法