时间戳

首页 > 解决方案 > 更有效的方法：按变量分组的许多列的 value_counts (in %)

python - 更有效的方法：按变量分组的许多列的 value_counts (in %)

问题描述

我正在研究一个用例，其中我对每个 id 的许多特征进行了许多观察，并且我需要计算每列每个 id 的值的频率（约 5 个离散值）。

我有一个解决方案，它适用于相当小的数据集（例如 < 100 万行），但在我的整个数据集（将来可能会变得更大）上失败，因为它填满了我的 RAM。我找不到一个干净的 groupby 解决方案，因为我需要同时为许多列执行此操作。

样本数据：

import pandas as pd
import numpy as np

n = 100     # Number of features
m = 100     # Number of classes
k = 10000   # number of occurrences per class

possible_values = [1, 2, 3, 4, 5]

df = []
for i in range(m):
    for j in range(k):
        df.append( np.append(i, np.random.choice(possible_values, n)) )

features = [f"feature{i}" for i in range(n)]
df = pd.DataFrame(df, columns=(["id"] + features))

如果没有 groupby 情况，这很容易：

df[features].apply(pd.value_counts).T / df.shape[0]

我的方法

melted = df.melt(id_vars="id", var_name='feature', value_name='value')
feature_freq_id = pd.crosstab(index=[melted.id, melted.feature], columns=melted.value).reset_index()
feature_freq_id[possible_values] = feature_freq_id[possible_values].div(feature_freq_id[possible_values].sum(axis=1), axis=0)

问题是melted有n*m*k行。我的数据集有 >250 个特征、>200 个 id 和每个 id 约 5k 观察值，这意味着melted将有 >2.5 亿行。这导致我的记忆最终被填满，python 死了。

预期结果：

feature_freq_id.head(3)
ID 特征 1 2 3 4 5
0 0 特征0 0.183 0.185 0.226 0.187 0.219
1 0 特色1 0.178 0.222 0.209 0.209 0.182
2 0 功能10 0.215 0.213 0.175 0.196 0.201

标签： pythonpandascountpandas-groupbyfrequency

解决方案

只是一个想法：结合你的“简单”方法使用groupby：id

def fractions(sdf):
    return sdf.apply(pd.value_counts, normalize=True).fillna(0.).T
    
result = df.groupby("id")[features].apply(fractions)
result.index.set_names("feature", level=1, inplace=True)

这应该避免内存melt下降？

推荐阅读