本文转自：http://blog.csdn.net/itplus/article/details/10857843
本文详细的介绍了线性回归和逻辑回归是怎么一回事，很好的介绍了线性回归的原理和逻辑回归的原理。针对逻辑回归，最后参数的求解过程中，还可以用到牛顿法和拟牛顿法，具体可以参考：http://www.cnblogs.com/ljy2013/p/5129294.html
从上面可以看出，标准梯度下降法每一次利用所有的训练样本数据来更新一个参数的一个纬度的分量；而随即梯度下降方法是针对每一个训练样本，更新参数的所有纬度的分量值。