过度拟合的问题

考虑问题的预测Y从X∈R.下面左边的图显示拟合Y = θ₀ +θ₁X数据集的结果。我们看到数据并不是真的在直线上，所以拟合度不是很好。

相反，如果我们增加一个额外的元素x²，并且去拟合y=θ₀+θ₁x+θ₂x²。然后我们得到一个稍微好一些的数据（参见下图）。天真的是，似乎我们添加的元素越多越好。

然而添加太多的元素也有危险：最右边的图是一个第五阶多项式拟合的结果。

我们看到，即使拟合曲线完美地通过数据，我们不应该期望这是一个很好的预测，例如，住房价格（Y）为不同的生活区（X）。没有正式定义这些术语的含义，我们会说，左边的图显示了一个实例中的数据清楚地表明欠拟合和右边的图是过拟合实例。

欠，或高的偏见，我们假设函数H图不到数据趋势的形成是当。它通常是由于函数过于简单或使用的功能太少而造成的。在另一个极端，过度拟合，或高的方差，以适合可用的数据但不概括以及对新的数据进行预测的假设函数引起的。它通常是由一个复杂的函数引起的，它会产生许多与数据无关的不必要的曲线和角度。

本术语适用于线性和逻辑回归。有解决过拟合问题两个主要选项：

1.减少特征的数量：

· 手动选择保留的特征值。
· 使用模型选择算法（在课程后期学习）。

2.正则化

· 保留所有特征值，但是减小θ_j。

· 正则化的作品时，我们有很多稍微有用的特征值。