时间戳

首页 > 解决方案 > 在熊猫多索引数据框中返回满足逻辑索引条件的每个组的最后一行

python - 在熊猫多索引数据框中返回满足逻辑索引条件的每个组的最后一行

问题描述

希望返回一个数据框，其中包含每个组的最后一行（具有最近日期索引的行），其中多索引的第二级由逻辑索引条件过滤。

这是一个玩具示例，可以更好地解释：

import numpy as np
import pandas as pd
from datetime import datetime

dates  = pd.date_range(start='1/1/2018', end='1/4/2018').to_pydatetime().tolist() * 2
ids    = ['z7321', 'z7321', 'z7321', 'z7321', 'b2134', 'b2134', 'b2134', 'b2134']

arrays = [ids, dates]
tuples = list(zip(*arrays))
index = pd.MultiIndex.from_tuples(tuples, names=['key', 'date'])

df = pd.DataFrame(data=np.random.randn(len(index)), index=index, columns=['change'])

print(df)

                   change
key   date
z7321 2018-01-01 -0.701605
      2018-01-02 -0.934580
      2018-01-03  0.186554
      2018-01-04  0.417024
b2134 2018-01-01  0.682699
      2018-01-02 -0.913633
      2018-01-03  0.330347
      2018-01-04 -0.706429

条件是返回最后一行df[df.index.get_level_values(1) <= datetime(2018, 1, 2)]

所需的输出如下所示：

                   change
key   date
z7321 2018-01-02 -0.934580
b2134 2018-01-02 -0.913633

其他注意事项：

  1. 直接选择使用的行df[df.index.get_level_values(1) == datetime(2018, 1, 2)]不是一个选项，因为第二个索引级别（日期级别）可能不包含指定值的精确日期匹配datetime(2018, 1, 2)
  2. 日期索引可能在键组/索引中包含不同的值。即“z7321”在二级索引中的日期可能与“b2134”不同

标签： pythonpandasdataframeindexingmulti-index

解决方案

当我编写我的玩具示例时，我最终找到了一种获得所需输出的方法。希望这个解决方案对其他人有帮助，或者可以改进。

以下提供了所需的输出：

df1 = df[df.index.get_level_values(1) <= datetime(2018, 1, 2)].groupby(level='key', as_index=False).nth(-1)
print(df1)

                   change
key   date
z7321 2018-01-02 -0.934580
b2134 2018-01-02 -0.913633

这也适用于第二个索引级别在第一级组中不一致的情况：

import numpy as np
import pandas as pd
from datetime import datetime

dates = pd.date_range(start='1/1/2018', end='1/4/2018').to_pydatetime().tolist()
dates += pd.date_range(start='12/29/2017', end='1/1/2018').to_pydatetime().tolist()

ids   = ['z7321', 'z7321', 'z7321', 'z7321', 'b2134', 'b2134', 'b2134', 'b2134']

arrays = [ids, dates]
tuples = list(zip(*arrays))
index = pd.MultiIndex.from_tuples(tuples, names=['key', 'date'])

df = pd.DataFrame(data=np.random.randn(len(index)), index=index, columns=['change'])
print(df)

                    change
key   date
z7321 2018-01-01 -1.420757
      2018-01-02 -0.297835
      2018-01-03  0.693520
      2018-01-04  0.909420
b2134 2017-12-29 -1.577685
      2017-12-30  0.632395
      2017-12-31  1.158273
      2018-01-01 -0.242314


df1 = df[df.index.get_level_values(1) <= datetime(2018, 1, 2)].groupby(level='key', as_index=False).nth(-1)
print(df1)

                    change
key   date
z7321 2018-01-02 -0.297835
b2134 2018-01-01 -0.242314

推荐阅读