通俗理解GBDT和XGBoost (从决策树Decision Tree开始，Step-by-Step手把手)【已完结】

开头语：这一系列的笔记仍然致力于简洁 + 尽量能说清楚怎么回事。为了理解GBDT和XGBoost，从最基础的决策树开始，一步一步，手把手深入到GBDT和XGBoost。

一段发自肺腑感谢的话：非常感谢Youtube上“StatQuest with Josh Starmer”公众号，发布了很多通俗易懂的视频（从决策树一直到XGBoost也在其中）。这一系列的笔记也是很大程度的上基于他的讲解和列举的例子。

一个小公告：可以关注微信公众号啦，第一时间收到更新:)。

文章路线目录：

• Decision Trees （通俗理解决策树）

• Main Idea （给了什么是决策树的例子；以及当有了自己的数据集时，怎么样从0开始逐渐构建一个决策树；2020/04/04）

• What If We Have Numeric Data? (如果数据中有数值类型的特征；2020/04/05）

• Ranked Data and Multiple Choice Data （如果数据中有排序或者多个选项的特征；2020/04/06）

• Feature Selection （决策树中的特征选择；2020/04/08）

• Missing Data (要是有的数据值有缺失怎么办？；2020/04/09）

• Regression Trees (回归树) 

  • 第1篇（2020/04/10）
  • 第2篇（2020/04/11）

• Prune Regression Trees （修剪回归树）

  • 第1篇（2020/04/12）
  • 第2篇（2020/04/15）

• Random Forests （通俗理解随机森林）

• Building （2020/04/19）

• Using （2020/04/24）

• Evaluating（2020/04/27）

• Missing Data （2020/04/29）

  • 第1篇 （2020/04/29）
  • 第2篇 （2020/05/19）
  • 第3篇 （2020/05/21）

• AdaBoost （通俗理解AdaBoost）

  • Concept （2020/05/22）
  • Building
    • 第1篇（2020/05/24）
    • 第2篇（2020/05/31）
    • 第3篇（2020/09/21）
  • Using (2020/09/22)

• Gradient Boost （通俗理解GBDT）

• Regression Main Ideas (2020/09/28)

• Regression Details (2020/10/17)

• Classification Main Ideas (2020/11/21)

• Classification Details (2020/12/20)

• XGBoost （通俗理解XGBoost）

• XGBoost Trees for Regression (2021/01/10)

• XGBoost Trees for Classification (2021/01/24)

• Mathematical Details (2021/04/03)

• Optimisation (2021/04/05)

（希望大家特殊期间，身体健康！）