python - 按组标准化变量 - 为什么平均值总是为零?
问题描述
我有以下数据:
df = pd.DataFrame({'sound': ['A', 'B', 'B', 'A', 'B', 'A'],
'score': [10, 5, 6, 7, 11, 1]})
print(df)
sound score
0 A 10
1 B 5
2 B 6
3 A 7
4 B 11
5 A 1
如果我标准化(即 Z 分数)score
变量,我会得到以下值。新z
列的平均值基本上为 0,SD 为 1,这两者都是标准化变量的预期值:
df['z'] = (df['score'] - df['score'].mean())/df['score'].std()
print(df)
print('Mean: {}'.format(df['z'].mean()))
print('SD: {}'.format(df['z'].std()))
sound score z
0 A 10 0.922139
1 B 5 -0.461069
2 B 6 -0.184428
3 A 7 0.092214
4 B 11 1.198781
5 A 1 -1.567636
Mean: -7.401486830834377e-17
SD: 1.0
但是,我真正感兴趣的是根据组成员身份计算 Z 分数 ( sound
)。例如,如果分数来自声音 A,则仅使用声音 A 值的平均值和 SD 将该值转换为 Z 分数。同样,声音 BZ 分数将仅使用声音 B 的平均值和 SD。与常规 Z 分数计算相比,这显然会产生不同的值:
df['zg'] = df.groupby('sound')['score'].transform(lambda x: (x - x.mean()) / x.std())
print(df)
print('Mean: {}'.format(df['zg'].mean()))
print('SD: {}'.format(df['zg'].std()))
sound score z zg
0 A 10 0.922139 0.872872
1 B 5 -0.461069 -0.725866
2 B 6 -0.184428 -0.414781
3 A 7 0.092214 0.218218
4 B 11 1.198781 1.140647
5 A 1 -1.567636 -1.091089
Mean: 3.700743415417188e-17
SD: 0.894427190999916
我的问题是:为什么基于组的标准化值 ( zg
) 的平均值也基本等于 0?这是预期的行为还是我的计算中有错误?
z
分数是有道理的,因为在变量内进行标准化基本上会将平均值强制为 0。但是这些值zg
是使用每个声音组的不同平均值和 SD 计算的,所以我不确定为什么该新变量的平均值也被设置为 0 .
我可以看到这种情况发生的唯一情况是,如果值的总和 > 0 等于值的总和 < 0,当平均时会抵消为 0。这发生在常规的 Z 分数计算中,但我很惊讶这像这样跨多个组进行操作时也会发生...
解决方案
是的,这是预期的行为。
用花哨的话来说,使用迭代期望定律,
具体来说,如果群Y
是有限的,因此是可数的,
在哪里
但是,通过构造,everyE[X|Y_j]
适用于您的一组可能组中0
的所有值。Y
G
因此,总平均值也将为零。
推荐阅读
- c# - Monogame C#:如何创建一个固定的图像网格,使其均匀地适合每个单元格?
- unity3d - 无法在 HoloLens 上部署
- angular - 从服务类进行嵌套 HTTP 调用并返回 Observable
- unit-testing - Nsubstitute 不能用 in 参数模拟带有签名的接口
- reactjs - 如何根据使用 React 的路由更改单独标题组件上的页面标题?
- jquery - inIframe 函数说明
- javascript - JavaScript TypeError:无法读取未定义的属性“id”
- javascript - 将所选语言保存在本地存储中?
- python - 多单元格的值错误问题尺寸必须相等,但为 20 和 13
- node.js - Nodejs:为什么我的 Promise 在 PUT 请求中不起作用?重新爱过