xgboost - xgboost如何分裂根节点并质疑泰勒展开

Question

我知道 xgboost 使用 Gain = Score(L)+Score(R)-Score(L+R) 来分裂节点，但是 xgboost 是如何分裂根节点的呢？另外，为什么不在泰勒展开中使用四阶或五阶导数作为损失函数呢？

标签： xgboostloss-function

Answer 1

在根节点之前，有一个名为'base_score'的初始值（分类默认为0.5）作为预测值，所以在根节点中，可以计算所有样本的hessian和梯度，得到gain的分数。