首页 > 解决方案 > 使用提早停止时对助推轮数施加限制?

问题描述

在提升树算法(如 xgboost 或 lightgbm)的超参数优化期间,是否可以在使用提前停止时直接控制提升轮数(估计器/树)的最小(而不仅仅是最大)数量?这种需求的动机是观察到在太少轮次后停止训练的模型始终欠拟合(其指标明显低于往往具有更多增强轮次的最先进模型)。

我知道的唯一解决方案是间接解决方案:调整链接的超参数 - 学习率(降低其在搜索空间中的上限)。当设置得太高时,学习率会导致模型拟合不足,从而导致训练停止得太快,即提升轮数太少。

标签: machine-learningxgboosthyperparameterslightgbmearly-stopping

解决方案


您是否尝试过改变设置停止轮数的参数?根据使用的数据、轮次和学习率,我看到这个参数设置为低至 5 和高至 500。

如果您提供一些示例数据和代码,可能会更容易提出建议。


推荐阅读