时间戳

首页 > 解决方案 > 使用 for 循环交叉验证模型时查看每个折叠的分数

python - 使用 for 循环交叉验证模型时查看每个折叠的分数

问题描述

我想查看每个拟合模型的个人分数以可视化交叉验证的强度（我这样做是为了向我的同事展示为什么交叉验证很重要）。

我有一个包含 500 行、200 个自变量和 1 个二进制目标的 .csv 文件。我定义skf使用 . 将数据折叠 5 次StratifiedKFold。

我的代码如下所示：

X = data.iloc[0:500, 2:202]
y = data["target"]
skf = StratifiedKFold(n_splits = 5, random_state = 0)
clf = svm.SVC(kernel = "linear")
Scores = [0] * 5
for i, j in skf.split(X, y):
    X_train, y_train = X.iloc[i], y.iloc[i]
    X_test, y_test = X.iloc[j], y.iloc[j]
    clf.fit(X_train, y_train)
    clf.score(X_test, y_test)

如您所见，我将 5 个零的列表分配给Scores. 我想将clf.score(X_test, y_test)5 个预测中的每一个分配给列表。但是，索引i和j不是 {1, 2, 3, 4, 5}。相反，它们是用于折叠X和y数据框的行号。

如何将每个k拟合模型的测试分数分配Scores到此循环中？我需要一个单独的索引吗？

我知道使用字面意思是完成所有这些，并为您提供分数cross_val_score的几何平均值。k但是，我想向我的同事展示库中的交叉验证函数背后发生了什么sklearn。

提前致谢！

标签： pythonpandasfor-loopcross-validation

解决方案

如果我理解了这个问题，并且您不需要任何特定的分数索引：

from sklearn.model_selection import StratifiedKFold
from sklearn.svm import SVC

X = np.random.normal(size = (500, 200))
y = np.random.randint(low = 0, high=2, size=500)
skf = StratifiedKFold(n_splits = 5, random_state = 0)
clf = SVC(kernel = "linear")
Scores = []
for i, j in skf.split(X, y):
    X_train, y_train = X[i], y[i]
    X_test, y_test = X[j], y[j]
    clf.fit(X_train, y_train)
    Scores.append(clf.score(X_test, y_test))

结果是：

>>>Scores
[0.5247524752475248, 0.53, 0.5, 0.51, 0.4444444444444444]

推荐阅读