python - 使用来自 PCA 的组件进行分类
问题描述
我对我的数据集使用了 PCA 分析,如下所示:
from sklearn.decomposition import PCA
pca = PCA(n_components=3)
principalComponents = pca.fit_transform(scale_x)
principalDf = pd.DataFrame(data=principalComponents, columns = ['PC1', 'PC2', 'PC3'])
然后使用 MatPlotLib 可视化结果 - 我可以看到我的两个类之间的划分如下:
from mpl_toolkits.mplot3d import Axes3D
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.scatter(principalDf['PC1'].values, principalDf['PC2'].values, principalDf['PC3'].values, c=['red' if m==0 else 'green' for m in y], marker='o')
ax.set_xlabel('PC1')
ax.set_ylabel('PC2')
ax.set_zlabel('PC3')
plt.show()
但是当我使用像 SVM 或 Logistic 回归这样的分类模型时,它无法学习这种关系:
from sklearn.linear_model import LogisticRegression
lg = LogisticRegression(solver = 'lbfgs')
lg.fit(principalDf.values, y)
lg_p = lg.predict(principalDf.values)
print(classification_report(y, lg_p, target_names=['Failure', 'Success']))
precision recall f1-score support Failure 1.00 0.03 0.06 67 Success 0.77 1.00 0.87 219 accuracy 0.77 286 macro avg 0.89 0.51 0.46 286 weighted avg 0.82 0.77 0.68 286
这可能是什么原因?
解决方案
无论您的结果是否有意义,您都在做一些根本错误的事情,即在整个数据集上训练分类器并在所见数据上测试结果。我已经使用 iris 数据集重现了您的问题,并拟合了一个逻辑回归器,对我产生了很好的结果:
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix
from sklearn.model_selection import train_test_split
data = load_iris()
X = data.data
y = data.target
pca = PCA(n_components=3)
principalComponents = pca.fit_transform(X)
principalDf = pd.DataFrame(data=principalComponents, columns = ['PC1', 'PC2', 'PC3'])
from mpl_toolkits.mplot3d import Axes3D
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.scatter(principalDf['PC1'].values,
principalDf['PC2'].values,
principalDf['PC3'].values,
c=[['red', 'green', 'blue'][m] for m in y], marker='o')
ax.set_xlabel('PC1')
ax.set_ylabel('PC2')
ax.set_zlabel('PC3')
plt.show()
现在,如果我们尝试预测X_test
,我们会看到在这种情况下混淆矩阵看起来相当不错,这意味着整体思路应该很好:
X_train, X_test, y_train, y_test = train_test_split(principalDf, y)
lg = LogisticRegression(solver = 'lbfgs')
lg.fit(X_train, y_train)
y_pred = lg.predict(X_test)
confusion_matrix(y_true=y_test, y_pred=y_pred)
array([[ 9, 0, 0],
[ 0, 12, 1],
[ 0, 0, 16]], dtype=int64)
推荐阅读
- html - 如何使电子邮件模板的图像/链接列响应折叠
- java - jar中的Gradle Shadow重复文件名
- php - php,如何将包含 stdClass 对象的数组转换为逗号分隔的列表
- python - Python Geopy Nominatim 请求过多
- android - 未捕获的安全错误:阻止了具有来源的帧。“https://www.payumoney.com”。协议、域和端口必须匹配
- postgresql - 如何在 Presto PostgreSQL 连接器中配置 PostgreSQL 证书?
- google-apps-script - 使用循环在 Google 表格中创建多个表格
- bash - 使用 ls | grep 在 if 语句中
- regex - grep 仅正/负整数值
- java - 如何创建带有透明边框的圆形图像视图?