时间戳

首页 > 解决方案 > GroupBy 和聚合与集合交集

python - GroupBy 和聚合与集合交集

问题描述

我有一个带有集合列的熊猫数据框：

import pandas as pd

df = pd.DataFrame({'group_var': [1,1,2,2], 'sets_var': [set([0, 1]), set([1, 2]), set([3, 4]), set([5, 6, 7])]})
df

   group_var sets_var
0          1      {0, 1}
1          1      {1, 2}
2          2      {3, 4}
3          2   {5, 6, 7}

我希望和 得到所有相应集合的交集groupby，如下所示：group_varsets_var

   group_var sets_var
0          1      {1}
1          2      {}

或这样的系列：

   sets_var
1  {1}
2  {}

我将如何优雅地处理它？性能是重中之重。

标签： pythonpandasgroup-bysetpandas-groupby

解决方案

使用groupby,agg和减少使用set.intersection。

df.groupby('group_var', as_index=False).agg(lambda x: set.intersection(*x))

   group_var sets_var
0          1      {1}
1          2       {}

如果性能绝对重要，我们可以尝试摆脱lambda：

from functools import partial, reduce 
import operator

p = partial(reduce, operator.and_)
df.groupby('group_var', as_index=False).agg(p)

   group_var sets_var
0          1      {1}
1          2       {}

但是，这仅执行成对交叉，因此您的里程可能会有所不同。

或者，作为一个系列，

pd.Series({
    k: set.intersection(*g.tolist()) 
    for k, g in df.groupby('group_var')['sets_var']})

1    {1}
2     {}
dtype: object

推荐阅读