首页 > 技术文章 > 集成方法(3)Adaboost

gobetter 2020-10-10 15:48 原文

直接看大神写的!! https://blog.csdn.net/u012328159/article/details/89847193

后面写的内容只是为了给自己留个印象。

这篇随笔不会具体描述Adaboost算法实现过程,只是大概说明算法思想。

在bagging中,算法是并行训练多个独立的分类器来集成,但在Adaboost算法中训练新的分类器都是基于前一个分类器,同时每次训练后训练集中的样本权重会发生变化,训练集不变,但训练样本的权重却发生变化。首先使用一个弱算法(比如深度只为1的决策树)对具有均匀权值分布的训练集进行训练得到一个基分类器。然后,增加被误分类训练实例的相对权重。接着用更新后的训练集训练第二个基分类器,再对训练集更新实例权重,以此类推。

 

 

每个分类器会得到与他们的训练正确率成正相关的权重,即分类误差率越小的分类器在最终分类器的作用越大。在预测一个新样本时,AdaBoost算法会计算所有基分类器的预测并各自乘上他们的权重。最终的预测是综合获得最多权重投票的类别(加权投票)。

预测与bagging类似,唯一的不同是每个基分类器也有了权重。

因此整个算法的三个问题在于:

1.每个分类器的权重如何获得

2.如何提高被误分类的样本的权重。

3.算法如何才能对权重高的样本更加重视

 

推荐阅读