时间戳

首页 > 解决方案 > Pandas groupby + scikit 学习电源变压器

python - Pandas groupby + scikit 学习电源变压器

问题描述

作为我在 Pandas DataFrame 中的 Multiple distribution normality testing and transformation 中的问题的后续，我从 scikit learn 中找到了有关电源变压器功能的信息。

https://scikit-learn.org/stable/auto_examples/preprocessing/plot_map_data_to_normal.html

让我们考虑一个大型零售网络（数百种产品和数千家商店）中的销售简化如下： - 商店 1，商店 2 - 产品 A，产品 B，产品 C

我想通过运行需要对所有分布进行标准化的参数测试来检测销售水平的异常情况。

我试图通过一组函数使 Power Transformer 函数工作，以尽可能有效地规范所有分布，但无济于事。

数据实际上包含一些负值，所以我决定使用允许负值的 Yeo-Johnson 参数。

我尝试了以下方法：

from sklearn.preprocessing import PowerTransformer
yj = PowerTransformer(method='yeo-johnson') 

df['ScaledSales'] = df.groupby(['Store', 'Product'])['Sales'].transform(lambda x: yj.fit(x))

这返回了一个错误。“预期的二维数组，而是一维数组。如果您的数据具有单个特征，则使用 array.reshape(-1, 1) 或 array.reshape(1, -1) 如果它包含单个样本，则使用 array.reshape(1, -1) 重塑您的数据。

我还尝试使用它声明一个函数，使用 pandas .to_transform() 将销售值列表转换为可以被视为 2D 数据集的数据框，但它返回了相同的错误：

def scale (x):
    x.to_frame()
    yj.fit(x)
    yj.transform(x)

df['ScaledSales'] = df.groupby(['Store','Product'])['Sales'].transform(scale)

理想情况下，我希望在数据框中添加一个 ScaledSales 列，该列包含由 PowerTransformer 基于商店 + 产品组按功能缩放的值，从而规范每个商店 + 产品组合的销售分布。

据我对 PowerTransformer 的了解，这应该是可能的，对吧？

谢谢您的帮助。

标签： pythonpandasscikit-learn

解决方案

假设你的 df 是这样的

import pandas as pd
import numpy as np
np.random.seed(1)

df = pd.DataFrame({ 
    'Store': ['Store 1', 'Store 2'] * 50,
    'Product': ['Product A', 'Product B', 'Product C', 'Product D'] * 25,
    'Sales': [int(x) for x in np.random.randn(100)*10000]
    })

df

      Store    Product  Sales
0   Store 1  Product A  16243
1   Store 2  Product B  -6117
2   Store 1  Product C  -5281
3   Store 2  Product D -10729
4   Store 1  Product A   8654
..      ...        ...    ...
95  Store 2  Product D    773
96  Store 1  Product A  -3438
97  Store 2  Product B    435
98  Store 1  Product C  -6200
99  Store 2  Product D   6980

[100 rows x 3 columns]

创建您的分组df：

df_groupby = df.groupby(['Store', 'Product']).agg(Sales_sum=('Sales', 'sum')).reset_index()
df_groupby

     Store    Product  Sales_sum
0  Store 1  Product A       8696
1  Store 1  Product C      60152
2  Store 2  Product B     -24319
3  Store 2  Product D      16054

然后重塑您的数据并规范化

from sklearn.preprocessing import PowerTransformer
yj = PowerTransformer(method='yeo-johnson') 

data = np.array(df_groupby['Sales_sum'])
reshaped_data = np.array(data).reshape(-1, 1)
print(yj.fit(reshaped_data))
print(yj.lambdas_)
print(yj.transform(reshaped_data))

PowerTransformer(copy=True, method='yeo-johnson', standardize=True)
[0.99939608]
[[-0.21109932]
 [ 1.49251682]
 [-1.31406424]
 [ 0.03264674]]

推荐阅读