xgboost - xgboost模型的内部节点预测
问题描述
是否可以计算 xgboost 模型的内部节点预测?R 包gbm
提供了对每棵树的内部节点的预测。
然而,xgboost 输出仅显示模型最终叶的预测。
xgboost 输出:
请注意,Quality 列具有第 6 行中叶节点的最终预测。我也希望每个内部节点都具有该值。
Tree Node ID Feature Split Yes No Missing Quality Cover
1: 0 0 0-0 Sex=female 0.50000 0-1 0-2 0-1 246.6042790 222.75
2: 0 1 0-1 Age 13.00000 0-3 0-4 0-4 22.3424225 144.25
3: 0 2 0-2 Pclass=3 0.50000 0-5 0-6 0-5 60.1275253 78.50
4: 0 3 0-3 SibSp 2.50000 0-7 0-8 0-7 23.6302433 9.25
5: 0 4 0-4 Fare 26.26875 0-9 0-10 0-9 21.4425507 135.00
6: 0 5 0-5 Leaf NA <NA> <NA> <NA> 0.1747126 42.50
R gbm 输出:
在 Rgbm
包输出中,预测列包含叶节点(SplitVar == -1)
和内部节点的值。我想从 xgboost 模型中访问这些值
SplitVar SplitCodePred LeftNode RightNode MissingNode ErrorReduction Weight Prediction
0 1 0.000000000 1 8 15 32.564591 445 0.001132514
1 2 9.500000000 2 3 7 3.844470 282 -0.085827382
2 -1 0.119585850 -1 -1 -1 0.000000 15 0.119585850
3 0 1.000000000 4 5 6 3.047926 207 -0.092846157
4 -1 -0.118731665 -1 -1 -1 0.000000 165 -0.118731665
5 -1 0.008846912 -1 -1 -1 0.000000 42 0.008846912
6 -1 -0.092846157 -1 -1 -1 0.000000 207 -0.092846157
问题:
如何访问或计算 xgboost 模型内部节点的预测?我想将它们用于贪婪的穷人版的 SHAP 分数。
解决方案
此问题的解决方案是将 xgboost json 对象转储为all_stats=True
. 这将cover
统计信息添加到输出中,可用于通过内部节点分配叶点:
def _calculate_contribution(node: AnyNode) -> float32:
if isinstance(node, Leaf):
return node.contrib
else:
return (
node.left.cover * Node._calculate_contribution(node.left)
+ node.right.cover * Node._calculate_contribution(node.right)
) / node.cover
内部贡献是子贡献的加权平均值。使用此方法,生成的结果与使用pred_contribs=True
和调用 predict 方法时返回的结果完全匹配approx_contribs=True
。
推荐阅读
- python - 如何使用 BeautifulSoup 和 Python 请求获取具有强标签的段落及其下面的三个段落?
- java - 白屏和崩溃 - Android Studio
- javascript - 如何隐藏客户端 api 密钥?
- excel - Excel“保存更改”弹出窗口上的模拟按钮取消
- haskell - 在 cabal 文件的库或可执行部分中建立依赖关系?
- grails - 在控制器中的后续命令对象上初始化命令对象时出错
- python - 自动(或循环)将某些文件按名称移动到子目录
- windows - 如果找到文件,则停止 get-Childitem
- oracle - Oracle:我可以创建一个检查组内值的约束吗
- css - 使网格反转