首页 > 技术文章 > 吴恩达机器学习笔记——梯度下降算法(3)

z1174299705 2018-04-12 16:25 原文

引言

上节介绍了特征缩放,可以使梯度下降算法效率更高,但是还没有解决收敛问题,这节介绍的自动收敛测试就是解决收敛问题。

为什么要收敛测试?

因为在梯度下降算法中,θ值是一步一步逼近最佳的,而且J(θ)和θ的图像是u型,所以步幅就很重要,如果步幅过大可能会引起θ值在最佳之间往返或者越来越远的问题,所以要进行收敛测试,保证梯度下降算法是可用的。

如何测试?

通过图像的方式测试:

正常情况的图像应该为下图,随着迭代次数的增加,J(θ)的最小值不断减小。

若出现如下两图中的情况,则为α值过大:

或者

综上所述:

if α is too small:slow convergence;

if α is too large:J(θ) may not decrease;

 

推荐阅读