时间戳

首页 > 解决方案 > 使用记分器实现 GridSearchCV 以进行留一交叉验证

python - 使用记分器实现 GridSearchCV 以进行留一交叉验证

问题描述

我正在尝试为高斯过程回归（GPR）实现 scikit-learn 的 GridSearchCV。我正在使用一个约 200 点的小型数据集，并希望使用 LOOCV 作为我模型的性能评估器。我的设置是：

from sklearn.model_selection import *
from sklearn.ensemble import *
from sklearn.gaussian_process import *

param_grid = {
    'kernel':[kernels.RBF(),kernels.Matern(length_scale=0.1)],
    'n_restarts_optimizer':[5,10,20,25],
    'random_state':[30]
}
res_GPR = GridSearchCV(estimator=GaussianProcessRegressor(),param_grid=param_grid,cv=LeaveOneOut(),verbose=20,n_jobs=-1)
res_GPR.fit(X,y)

其中 X 和 y 分别是我的数据点和目标值。我知道 GPR 返回的评分方法是 r^2，这对于 LOOCV 情况是无法定义的（因为只有一个测试元素） - 这可以通过获取拟合模型的 .best_score_ 属性的 NaN 来验证。因此，我希望仅使用每个测试用例的均方根误差 (RMSE) 对模型进行评分，并对所有迭代进行平均。任何有关如何实施此评估方法的意见将不胜感激。

标签： pythonmachine-learningscikit-learnregressioncross-validation

解决方案

GridSearchCV包括一个scoring参数，您可以使用它来将分数设置为负 RMSE：

res_GPR = GridSearchCV(estimator=GaussianProcessRegressor(),
                       param_grid=param_grid,
                       cv=LeaveOneOut(),
                       verbose=20,
                       n_jobs=-1, 
                       scoring = 'neg_root_mean_squared_error')

有关更多信息，请参阅文档和可用分数列表。

推荐阅读