首页 > 技术文章 > 统计知识 | 决定系数 R方、调整后的R方、F值

ykit 2020-03-16 09:16 原文

指标的意义:

  • R方:拟合出来的线能解释多少实际信息量
  • F值:验证模型整体显著性水平

 

一、R2

  也称 拟合优度、决定系数:反应回归模型拟合数据的优良程度

  先说结论:R2 越接近 1 ,拟合效果越好

  • 回归:所有实际数值点向均值回归,认为均值含有所有点最大的信息量
  • 实际信息:点的实际值 减去 均值 认为是 这个点的实际信息(蓝色条),可以拆分成下面两部分
  • 误差信息:实际值减线上的点的值,这是未拟合出来的信息(黄色条
  • 拟合出的信息:拟合出来的线上的点 减 均值 (红色条)

对于一个模型来说:误差信息越短,拟合出的信息越长,拟合效果越好。

 

拟合优度涉及的三个指标

 

1. SST:总体平方和,它的大小描述了数据集中的数的分散程度

2. SSE:残差平方和 

3. SSR:回归平方和,拟合数据的分散情况

 

二、调整后的 R2

在样本容量一定的情况下,增加解释变量必定使得自由度减少

目的:在模型的复杂程度和衡量模型的优良程度上取一个平衡

  让模型趋于简单(模型复杂之后 会使预测受到一定限制:过拟合)

  所以注意!多元统计要用调整后的R2来衡量

具体操作:将残差平方和与总离差平方和分别除以各自的自由度,以剔除变量个数对拟合优度的影响

 

 

三、F 值

  先说结论:F 值越大,模型整体显著性水平越高

  意义:所估计回归的总显著性的一个度量,也是调整后的R方的一个显著性检验

  即:验证模型整体显著性水平的指标:F值越大越拒绝 0 假设

检验模型中的参数 β 们是否显著不为 0 

 

  由于 SSR 是解释变量 X 的联合体对被解释变量 Y 的线性作用的结果,考虑SSR/SSE的比值

    如果这个比值较大,可认为总体存在线性关系;

    反之总体上可能不存在线性关系。

  F值与调整后的R方呈同向变化

    当调整后的R方为 0 时,F = 0;

    调整后的R方越大,F值越大;

    当调整后的R方 为1 时,F值 为正无穷。

 

推荐阅读