r - 如何使用 caret-GBM 解释/调整多项分类？

Question

两个问题

1. 可视化模型的错误
2. 计算对数损失

(1) 我正在尝试调整多项 GBM 分类器，但我不确定如何适应输出。我知道 LogLoss 旨在最小化，但在下图中，对于任何范围的迭代或树，它似乎只会增加。

inTraining <- createDataPartition(final_data$label, p = 0.80, list = FALSE)
training <- final_data[inTraining,]
testing <- final_data[-inTraining,]

fitControl <- trainControl(method = "repeatedcv", number=10, repeats=3, verboseIter = FALSE, savePredictions = TRUE, classProbs = TRUE, summaryFunction= mnLogLoss)


gbmGrid1 <- expand.grid(.interaction.depth = (1:5)*2, .n.trees = (1:10)*25, .shrinkage = 0.1, .n.minobsinnode = 10)

gbmFit1 <- train(label~., data = training, method = "gbm", trControl=fitControl,
                   verbose = 1, metric = "ROC", tuneGrid = gbmGrid1)

plot(gbmFit1)

-- (2) 在相关说明中，当我尝试直接调查 mnLogLoss 时，我得到了这个错误，这使我无法尝试量化错误。

mnLogLoss(testing, levels(testing$label)) : 'lev' cannot be NULL

标签： rclassificationr-caretgbmmultinomial

Answer 1

我怀疑您将学习率设置得太高。因此，使用示例数据集：

final_data = iris
final_data$label=final_data$Species
final_data$Species=NULL
inTraining <- createDataPartition(final_data$label, p = 0.80, list = FALSE)
training <- final_data[inTraining,]
testing <- final_data[-inTraining,]

fitControl <- trainControl(method = "repeatedcv", number=10, repeats=3, 
verboseIter = FALSE, savePredictions = TRUE, classProbs = TRUE, summaryFunction= mnLogLoss)

gbmGrid1 <- expand.grid(.interaction.depth = 1:3, .n.trees = (1:10)*10, .shrinkage = 0.1, .n.minobsinnode = 10)

gbmFit1 <- train(label~., data = training, method = "gbm", trControl=fitControl,
                   verbose = 1, tuneGrid = gbmGrid1,metric="logLoss")

plot(gbmFit1)

与你的有点不同，但你可以看到 20 岁之后的上升趋势。这真的取决于你的数据，但如果你的学习率很高，你至少会很快到达，之后的任何事情都会引入噪音。你可以从Boehmke 的书中看到这个插图，也可以查看更多基于统计的讨论。

让我们降低学习率，你可以看到：

gbmGrid1 <- expand.grid(.interaction.depth = 1:3, .n.trees = (1:10)*10, .shrinkage = 0.01, .n.minobsinnode = 10)

gbmFit1 <- train(label~., data = training, method = "gbm", trControl=fitControl,
                   verbose = 1, tuneGrid = gbmGrid1,metric="logLoss")

plot(gbmFit1)

请注意，您很可能需要更多的迭代才能达到更低的损失，就像您在第一次看到的那样。