machine-learning - 通过相关矩阵进行特征选择

Question

在测试不同的算法（例如逻辑回归、高斯朴素贝叶斯、随机森林和多层感知器）时，我通过简单地减去均值并除以标准差来对原始数据进行归一化。这对所有人来说都不是必需的，但我只是想保持一致。但是特征的相关矩阵在归一化前后会发生变化。在决定选择哪些特征以避免输入数据中的冗余时，应该考虑两个相关矩阵还是只考虑归一化后的一个，因为这是直接提供给机器学习方法的数据？

标签： machine-learningnormalizationfeature-selectionpearson-correlation

Answer 1

我认为相关矩阵在“适当”归一化后应该保持不变。

演示：

In [107]: df = pd.DataFrame(np.random.rand(6,6)) * 100

让我们在归一化之前保存 Pearson 相关矩阵

In [108]: corr1 = df.corr()

标准化使用sklearn.preprocessing.StandardScaler：

In [109]: from sklearn.preprocessing import StandardScaler

In [110]: scale = StandardScaler()

In [111]: r = scale.fit_transform(df)

标准化后保存 Pearson 相关矩阵

In [112]: corr2 = pd.DataFrame(r).corr()

比较保存的相关矩阵：

In [114]: np.allclose(corr1, corr2)
Out[114]: True