machine-learning - 梯度提升树如何计算分类错误？

Question

我了解当我们在前一个模型的残差上构建下一个模型时，梯度提升如何用于回归 - 如果我们使用例如线性回归，那么它将是残差作为下一个模型的目标，然后将所有模型求和最终变得更瘦

但是这在梯度提升分类树中是如何完成的呢？假设我们有一个结果为 0/1 的二元分类模型——下一个要训练的模型的残差是多少？它是如何计算的，因为它不会像线性回归那样是 y 减去 y 预测的。

我真的被这个困住了！一个二叉分类树的错误是它错误分类的错误——那么下一个模​​型的目标仅仅是错误分类的点吗？

标签： machine-learninggbm

Answer 1

二元分类可以提出为预测概率的回归问题，例如 P(y=1 | x)，其中 y 是类标签。您可以使用对数损失（逻辑损失）而不是平方损失来实现这一点。