python - 熊猫根据条件重新采样和聚合

Question

我有一个 DataFrame，其中有一列状态如下：

datetime               |    session    |    try       |    status
2020-09-17 10:00:01    |    '1a'       |    '1a_1'    |    'success'
2020-09-17 10:00:02    |    '2a'       |    '2a_1'    |    'fail'
2020-09-17 10:00:03    |    '2a'       |    '2a_2'    |    'success'
2020-09-17 10:00:03    |    '3a'       |    '3a_1'    |    'interrupted'
2020-09-18 13:00:04    |    '4a'       |    '4a_1'    |    'fail'

我想按天对数据进行重新采样，并在会话中按条件计数状态类型（而不是尝试）。

我可以像这样轻松地尝试重新采样：

df['date'] = df['datetime'].dt.date
df['ones'] = np.ones(df.shape[0])
piv = df.pivot_table(index='date', columns='status', values='ones', aggfunc=len).fillna(0)

并且有：

day           |    success    |    fail    |    interrupted
2020-09-17    |    2          |    2       |    1
2020-09-18    |    0          |    1       |    0

但是无论会话中尝试了多少次，我都想按会话聚合它：

• 如果会话中的“成功”状态尝试，则成功+1，失败+0，中断+0；
• 如果会话中的“中断”状态并且会话中没有“成功”状态，则成功+0，失败+0，中断+1；
• 如果会话中没有“中断”和“成功”状态，则成功+0，失败+1，中断+0。

所以我应该得到这样的东西：

day           |    success    |    fail    |    interrupted
2020-09-17    |    2          |    0       |    1
2020-09-18    |    0          |    1       |    0

我坚持使用功能，我想出的所有结果都以“ValueError：系列的真值是模棱两可的”结尾。对于任何想法，我都会非常满意。

标签： pythonpandaspandas-applypandas-resample

Answer 1

我的想法是将 statust 的值转换为有序类别，仅使用在传递给参数的列表中定义的最重要值进行排序和获取行categories：

print (df)
             datetime session   try       status
0 2020-09-17 10:00:01      1a  1a_1      success
1 2020-09-17 10:00:02      2a  2a_1         fail
2 2020-09-17 10:00:03      2a  2a_2      success
3 2020-09-17 10:00:03      3a  3a_1  interrupted
4 2020-09-18 13:00:04      4a  4a_1         fail
5 2020-09-19 10:00:01      1a  1a_1  interrupted
6 2020-09-19 10:00:02      1a  2a_1         fail
7 2020-09-19 10:00:03      2a  2a_2      success
8 2020-09-19 10:00:03      2a  3a_1  interrupted

df['status'] = pd.Categorical(df['status'], 
                              ordered=True, 
                              categories=['success','interrupted','fail'])
df['date'] = df['datetime'].dt.date

df1 = df.sort_values(['date','status']).drop_duplicates(['date','session'])
print (df1)
             datetime session   try       status        date
0 2020-09-17 10:00:01      1a  1a_1      success  2020-09-17
2 2020-09-17 10:00:03      2a  2a_2      success  2020-09-17
3 2020-09-17 10:00:03      3a  3a_1  interrupted  2020-09-17
4 2020-09-18 13:00:04      4a  4a_1         fail  2020-09-18
7 2020-09-19 10:00:03      2a  2a_2      success  2020-09-19
5 2020-09-19 10:00:01      1a  1a_1  interrupted  2020-09-19

piv = pd.crosstab(df1['date'], df1['status'])
print (piv)
status      success  interrupted  fail
date                                  
2020-09-17        2            1     0
2020-09-18        0            0     1
2020-09-19        1            1     0