时间戳

首页 > 解决方案 > xgboost 回归树的叶值与预测有何关系

machine-learning - xgboost 回归树的叶值与预测有何关系

问题描述

似乎每棵树的相应叶值之和不等于预测。这是一个示例代码：

X = pd.DataFrame({'x': np.linspace(-10, 10, 10)})
y = X['x'] * 2
model = xgb.XGBRegressor(booster='gbtree', tree_method='exact', n_estimators=100, max_depth=1).fit(X, y)
Xtest = pd.DataFrame({'x': np.linspace(-20, 20, 101)})
Ytest = model.predict(Xtest)
plt.plot(X['x'], y, 'b.-')
plt.plot(Xtest['x'], Ytest, 'r.')

在此处输入图像描述

树转储内容如下：

model.get_booster().get_dump()[:2]

['0:[x<0] yes=1,no=2,missing=1\n\t1:leaf=-2.90277791\n\t2:leaf=2.65277767\n',
 '0:[x<2.22222233] yes=1,no=2,missing=1\n\t1:leaf=-1.90595233\n\t2:leaf=2.44333339\n']

如果我只用一棵树做预测：

Ytest2 = model.predict(Xtest, ntree_limit=1)
plt.plot(XX1['x'], Ytest2, '.')
np.unique(Ytest2)  # array([-2.4028,  3.1528], dtype=float32)

在此处输入图像描述

显然，Ytest2的唯一值不对应于第一棵树的叶值，即-2.90277791和2.65277767，尽管观察到的分裂点正好在 0 处。

  1. 叶值与预测有何关系？
  2. 如果输入是对称的，为什么第一棵树中的叶值不对称？

标签： machine-learningxgboost

解决方案

在拟合第一棵树之前，xgboost 会进行初始预测。这由参数 控制base_score，默认为 0.5。确实，-2.902777 + 0.5 ~=-2.4028和2.652777 + 0.5 ~= 3.1528。

这也解释了您的第二个问题：与初始预测的差异不是对称的。如果你设置learning_rate=1了，你可能会在一轮后得到对称的预测，或者你可以设置base_score=0.

推荐阅读