正则化：通过在代价函数里面再加上一些项，使得最后训练出来的参数值较小，就能防止过拟合。下图中，方括号里面的左边一项是为了更好地拟合数据，右边是为了降低参数值（防止过拟合，即不要拟合得太近），通过λ来调节这两个关系，这里的λ是自己人为设定的。若正则化参数λ过大的话（比如10^10），那么θ1，θ2。。。就会变得很小，导致h(x) ≈ θ0，此时会出现欠拟合，反之λ过小，会出现过拟合。而非正则化就是正则化中λ=0的特例。
1.
代价函数带有正则项且采用均方误差的梯度下降算法表现为：
其中下面的θj（j=1,2,3,4..）等价于
2.
代价函数带有正则项且采用均方误差的标准方程法表现为：
3.
带有正则项的交叉熵代价函数：
4.
带有正则项的交叉熵代价函数，在逻辑回归中，梯度下降法表现为：
（ 这里的h(x) = sigmoid (θ‘x) ）
