r - 如何在 R 中绘制带有置信区间的交叉验证 BRT 模型 (gbm.step) 引导的平均 ROC？

问题描述

我想从gbm和dismo包中使用 gbm.step 生成的 10 次交叉验证模型的 100 次运行中生成 ROC 曲线，该曲线代表平均值并显示置信区间，如下所示（不是我的图）：

我不确定如何做到这一点 - 我已经能够将每个模型的 ROC 绘制为单独的线，但我更喜欢上面的。

我的代码：

df <- read.csv("data.csv")

library(gbm)
library(dismo)
library(dplyr)
library(ROCR)
library(mlbench)
library(colorspace)
Pal = qualitative_hcl(10)

## Number of iterations 
n.iter <- 100

plot(NULL,xlim=c(0,1),ylim=c(0,1),
     xlab="False positive rate",ylab="True positive rate")

## Run bootstrapped BRT model
for(i in 1:n.iter){
  
  ## Sample data 
  train.num <- round(nrow(df) *0.8)
  train.obs = sample(nrow(df), train.num)
  
  ## Separate covariates and response
  flavidf.x <- df[10:52]
  flavidf.y <- df$Presence
  
  # X is training sample
  x.train = df.x[train.obs, ]
  
  # Create a holdout set for evaluating model performance
  x.val = df.x[-train.obs, ]
  
  # Subset outcome variable
  y.train = df.y[train.obs]
  y.val = df.y[-train.obs]  
  
  ## Datasets
  train.df <- cbind(y.train, x.train)
  test.df <- cbind(y.val, x.val)
  
  
  ## Run model
  brt.model <- gbm.step(data=train.df, gbm.x = c(2:44), gbm.y = 1, family = "bernoulli", tree.complexity = 5, learning.rate = 0.001, bag.fraction = 0.6)
  brt.model
  
  ## Predictions from BRT
  x2 <- test.df[2:44]
  pred.brt <- predict(brt.model, newdata= x2, n.trees=brt.model$gbm.call$best.trees, type="response")
  
  ## Add predictions to data
  brt.df <- cbind(test.df, pred.brt)
  
  ## AUC
  
  predictions=as.vector(pred.brt)
  pred=prediction(predictions, test.df$y.val)

### roc 
  perf_ROC=performance(pred,"tpr", "fpr") #Calculate the ROC value
  ROC=perf_ROC@y.values[[1]]
  ROC <- cbind(ROC, i)
  lines(perf_ROC@x.values[[1]],perf_ROC@y.values[[1]],col=Pal[i]) # add line to plot

### auc
 perf_AUC=performance(pred,"auc") #Calculate the AUC value
  AUC=perf_AUC@y.values[[1]]
  AUC <- cbind(AUC, i)
  
  
  # AUC for each iteration
  if(exists("brt.auc")){
    brt.auc <- rbind(brt.auc, AUC)
    rm(AUC)
  }
  if(!exists("brt.auc")){
    brt.auc <- AUC
  } 
}

通过这种方式，我能够生成如下图所示的 ROC 曲线图（通过减少迭代次数来提高速度），但不确定如何获得更像第一个示例的东西。

标签： rmachine-learningroc

r - 如何在 R 中绘制带有置信区间的交叉验证 BRT 模型 (gbm.step) 引导的平均 ROC？

问题描述

解决方案

推荐阅读