时间戳

首页 > 解决方案 > 从插入符号的训练函数中提取预测

r - 从插入符号的训练函数中提取预测

问题描述

我正在尝试重现misuse的工作答案，以从 caret 的 train 函数中提取预测。我正在使用弹性网，但无法获得它。

这是一个可重现的示例：

require(caret)   
require(glmnet)

x = matrix(rnorm(100 * 20), 100, 20)   
set.seed(3) 
g = sample(c(0,1), 100, replace = TRUE)

df = as.data.frame(x) 
g_f = as.factor(g) 
df$g_f = g_f

train_control <- trainControl(   
method="cv",    
number = 3,    
savePredictions = T)

sorozat = seq(0, 1, 0.25)

search_grid <- expand.grid(   
alpha = sorozat,    
lambda = sorozat )

set.seed(3) 
fit2 <- train(g_f ~ .,    
data = df,    
trControl = train_control,    
tuneGrid = search_grid,   
preProc = c("BoxCox", "center", "scale"),   
method = "glmnet")

还有我的尝试，它给出了一个错误：

prediction2 <- predict(fit2$finalModel,
                       data = predict(fit2$preProcess,
                                      df))$prediction

predict.glmnet(fit2$finalModel, data = predict(fit2, df)) 中的错误：您需要为“newx”提供一个值

以下是我如何获得预测。但是，如果它的混淆矩阵，我怎么能确定它是否是正确的：

# CM ver.1
pred_f = predict(fit2, df)
cm = as.data.frame(pred_f)
cm$g = g_f
table(cm)
      g
pred_f  0  1
     0 29  9
     1 15 47

与模型提供的不同？

# CM ver.2
confusionMatrix(fit2)$table
          Reference
Prediction  0  1
         0 23 16
         1 21 40

提前感谢您的帮助！

编辑：添加了混淆矩阵的输出。

标签： rr-caretglmnet

解决方案

链接的答案不适用于 glmnet，因为predict.glmnet它有一些特点：

数据参数predict.glmnet被调用newx并且必须是一个矩阵。

除此之外，这个预测函数使用所有拟合的 lambda 来创建预测，所以如果你想要最好的，你必须指定。此外，建议将响应设置为您的链接：

使用您的示例，最佳拟合值为 alpha = 0.5 和 lambda = 0.25。alpha 在模型内部设置，但 lambda 必须在预测期间指定。

但首先我们必须预处理测试数据（与链接答案相同）：

predict(fit2$preProcess, df)

然而，这会返回一个带有类列的数据框，因此为了将其提供给predict.glmnet响应列（因子），必须删除并将数据框转换为矩阵：

as.matrix(predict(fit2$preProcess, df)[,-21])

现在predict.glmnet使用 0.25 的最佳 lambda 调用，将预测类型设置为类：

library(glmnet)
prediction2 <- predict(fit2$finalModel,
                       newx = as.matrix(predict(fit2$preProcess,
                                      df)[,-21]),
                       type = "class",
                       s = 0.25)

head(prediction2)
     1  
[1,] "0"
[2,] "1"
[3,] "0"
[4,] "0"
[5,] "0"
[6,] "0"

编辑：回答关于混淆矩阵差异的编辑问题。

当您调用confusionMatrix的输出时train，结果矩阵是从重采样期间的折叠预测中获得的 - 因为这些是测试集预测，所以偏差较小。

当您在所有数据（这是fit2$finalModel）上拟合模型并使用它来预测相同的数据时，您正在创建训练集预测 - 由于模型是使用这些观察结果拟合的，因此存在很大偏差。confusionMatrix这就是在这种情况下，与调用on相比，非对角线总和要少得多的原因fit2。这有时被称为过度拟合——模型对它已经看到的数据的预测要好得多。

简而言之

`confusionMatrix(fit2)`

从不折叠的预测中产生一个混淆矩阵。这可以用作模型选择的指标。

尽管

confusionMatrix(as.factor(prediction2), g_f)

基于对训练数据的模型预测，生成一个高度偏差的混淆矩阵。这不应用作模型选择的指标。

EDTI2：我突然想到这可能是一个XY 问题。

如果您只想要交叉验证的预测，您可以简单地使用：

fit2$pred

如果你想计算这些的 AUC，你应该在 trainControl 中指定你想要的类概率：

train_control <- trainControl(   
  method="cv",    
  number = 3,    
  savePredictions = TRUE,
  classProbs = TRUE)

另一个问题是类级别需要是有效的变量名称，因此 0 和 1 等数字不起作用，一个简单的解决方法是：

df$g_f <- factor(df$g_f,
                 levels = c(0, 1),
                 labels = c("zero", "one"))

适配后：

set.seed(3) 
fit2 <- train(g_f ~ .,    
              data = df,    
              trControl = train_control,    
              tuneGrid = search_grid,   
              preProc = c("BoxCox", "center", "scale"),   
              method = "glmnet")

预测在fit2$pred：

head(fit2$pred)
#output
  pred  obs rowIndex      zero       one alpha lambda Resample
1  one  one        2 0.4513397 0.5486603     0      1    Fold1
2 zero zero        4 0.5764889 0.4235111     0      1    Fold1
3 zero  one        5 0.5154925 0.4845075     0      1    Fold1
4  one  one        6 0.4836418 0.5163582     0      1    Fold1
5 zero zero        7 0.5199623 0.4800377     0      1    Fold1
6  one zero        8 0.4770536 0.5229464     0      1    Fold1

这些预测适用于所有经过测试的超参数组合，以获取性能最佳的超参数：

library(tidyverse)

fit2$pred %>%
  filter(alpha == fit2$bestTune$alpha&
         lambda == fit2$bestTune$alpha) -> best_preds

有两种方法可以从这些预测中获取度量。

方法 1. 您可以使用组合折叠预测来做到这一点（当您拥有较小的数据集时频率较低但很有用，因此折叠性能存在很大差异）

pROC::roc(best_preds$obs, best_preds$one)$auc
#output
Area under the curve: 0.6631

方法 2。您可以按折叠和平均计算它（更常见，并且插入符号在内部用于任何指标：

library(tidyverse)

best_preds %>%
  group_by(Resample) %>%
  summarise(auc = as.numeric(pROC::roc(obs, one)$auc))
#output
  Resample   auc
  <chr>    <dbl>
1 Fold1    0.592
2 Fold2    0.757
3 Fold3    0.614

以上是每折的AUC

平均它：

best_preds %>%
  group_by(Resample) %>%
  summarise(auc = as.numeric(pROC::roc(obs, one)$auc)) %>%
  ungroup() %>%
  summarise(mean_auc = mean(auc))
#output
  mean_auc
     <dbl>
1    0.654

推荐阅读