我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度法等等。
1. 梯度下降法（Gradient Descent）
梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。梯度下降法的搜索迭代示意图如下图所示：
梯度下降法的缺点：
（1）靠近极小值时收敛速度减慢，如下图所示；
（2）直线搜索时可能会产生一些问题；
（3）可能会“之字形”地下降。
从上图可以看出，梯度下降法在接近最优解的区域收敛速度明显变慢，利用梯度下降法求解需要很多次的迭代。
在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
比如对一个线性回归（Linear Logistics）模型，假设下面的h(x)是要拟合的函数，J(theta)为损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的样本个数，n是特征的个数。
1）批量梯度下降法（Batch Gradient Descent，BGD）
（1）将J(theta)对theta求偏导，得到每个theta对应的的梯度：
（2）由于是要最小化风险函数，所以按每个参数theta的梯度负方向，来更新每个theta：
（3）从上面公式可以注意到，它得到的是一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果m很大，那么可想而知这种方法的迭代速度会相当的慢。所以，这就引入了另外一种方法——随机梯度下降。
对于批量梯度下降法，样本个数m，x为n维向量，一次迭代需要把m个样本全部带入计算，迭代一次计算量为m*n2。
2）随机梯度下降（Stochastic Gradient Descent，SGD）
（1）上面的风险函数可以写成如下这种形式，损失函数对应的是训练集中每个样本的粒度，而上面批量梯度下降对应的是所有的训练样本：
（2）每个样本的损失函数，对theta求偏导得到对应梯度，来更新theta：
（3）随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。但是，SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。
随机梯度下降每次迭代只使用一个样本，迭代一次计算量为n2，当样本个数m很大的时候，随机梯度下降迭代一次的速度要远高于批量梯度下降方法。两者的关系可以这样理解：随机梯度下降方法以损失很小的一部分精确度和增加一定数量的迭代次数为代价，换取了总体的优化效率的提升。增加的迭代次数远远小于样本的数量。
对批量梯度下降法和随机梯度下降法的总结：
批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。
随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。
2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）
1）牛顿法（Newton's method）
牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。
具体步骤：
首先，选择一个接近函数 f (x)零点的 x0，计算相应的 f (x0) 和切线斜率f ' (x0)（这里f ' 表示函数 f 的导数）。然后我们计算穿过点(x0, f (x0)) 并且斜率为f '(x0)的直线和 x 轴的交点的x坐标，也就是求如下方程的解：
我们将新求得的点的 x 坐标命名为x1，通常x1会比x0更接近方程f (x) = 0的解。因此我们现在可以利用x1开始下一轮迭代。迭代公式可化简为如下所示：
已经证明，如果f ' 是连续的，并且待求的零点x是孤立的，那么在零点x周围存在一个区域，只要初始值x0位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果f ' (x)不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。下图为一个牛顿法执行过程的例子。
由于牛顿法是基于当前位置的切线来确定下一次的位置，所以牛顿法又被很形象地称为是"切线法"。牛顿法的搜索路径（二维情况）如下图所示：
牛顿法搜索动态示例图：
关于牛顿法和梯度下降法的效率对比：
从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。）
根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。
注：红色的牛顿法的迭代路径，绿色的是梯度下降法的迭代路径。
牛顿法的优缺点总结：
优点：二阶收敛，收敛速度快；
缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。
2）拟牛顿法（Quasi-Newton Methods）
拟牛顿法是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W.C.Davidon所提出来。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。
拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。
具体步骤：
拟牛顿法的基本思想如下。首先构造目标函数在当前迭代xk的二次模型：
这里Bk是一个对称正定矩阵，于是我们取这个二次模型的最优解作为搜索方向，并且得到新的迭代点：
其中我们要求步长ak 满足Wolfe条件。这样的迭代与牛顿法类似，区别就在于用近似的Hesse矩阵Bk
代替真实的Hesse矩阵。所以拟牛顿法最关键的地方就是每一步迭代中矩阵Bk
的更新。现在假设得到一个新的迭代xk+1，并得到一个新的二次模型：
我们尽可能地利用上一步的信息来选取Bk。具体地，我们要求
从而得到
这个公式被称为割线方程。常用的拟牛顿法有DFP算法和BFGS算法。
3. 共轭梯度法（Conjugate Gradient）
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。
具体的实现步骤请参加wiki百科共轭梯度法。
下图为共轭梯度法和梯度下降法搜索最优解的路径对比示意图：
注：绿色为梯度下降法，红色代表共轭梯度法
4. 启发式优化方法
启发式方法指人在解决问题时所采取的一种根据经验规则进行发现的方法。其特点是在解决问题时,利用过去的经验,选择已经行之有效的方法，而不是系统地、以确定的步骤去寻求答案。启发式优化方法种类繁多，包括经典的模拟退火方法、遗传算法、蚁群算法以及粒子群算法等等。
还有一种特殊的优化算法被称之多目标优化算法，它主要针对同时优化多个目标（两个及两个以上）的优化问题，这方面比较经典的算法有NSGAII算法、MOEA/D算法以及人工免疫算法等。
牛顿法与梯度下降算法的适用范围
- 这两种算法都只能找到局部最小值，也就是说容易陷入局部最优。
- 两种算法都必须给出一个初始点。
- 牛顿法使用二阶逼近，梯度下降法使用一阶逼近。
- 牛顿法对局部凸的函数能找到极小值，对局部凹的函数能找到极大值，对局部不凸不凹的可能找到鞍点。
- 梯度下降法一般不会找到最大值，但同样可能会找到鞍点。
- 当初始点选取合理的情况下，牛顿法比梯度下降法收敛的速度快。
- 牛顿法要估计二阶导数，计算难度相对要大。
牛顿法
一元函数二阶逼近
首先在初始点x0处写出二阶泰勒级数：
f(x0+Δx)=f(x0)+f′(x0)Δx+f″(x0)2Δx2+o(Δx2)=g(Δx)+o(Δx2)
我们知道关于Δx的二次函数g(Δx)的极值点为−f′(x0)f″(x0)，(可以类比二次函数，y=ax2+bx+c，它的极值点坐标为−b2a),那么本着逼近的精神f(x)的极值点估计在x0−−f′(x0)f″(x0)附近，于是定义x1=x0−−f′(x0)f″(x0)，并重复此步骤得到此序列：
xn+1=xn−f′(xn)f″(xn)
多元函数二阶逼近
如果函数f(x)是一个多元函数，x是一个向量，那么牛顿法序列变为：
xn+1=xn−(ℍf(xn))−1.∇f(xn)
思路与技巧完全相同，只是使用梯度∇f(xn)取代一阶导数f′(xn)，使用Hessian矩阵ℍf(xn)代替二阶导数f″(xn)。 
梯度下降法
Model and Cost Function(模型和损失函数)
给出一个房价预测的例子，x轴是房子的大小，y轴是房子的价格，图中标注了一些房子作为数据集，而这些点被称为标注数据(labeled data)，利用这样的数据来预测的方法称为：监督学习。监督学习分为两类：分类与回归，此时，作为预测房价的这个例子是监督学习中的回归例子。
m代表是数据集的个数，x′s是输入变量或者特征，y′s是输出变量或者目标变量。
选择题1 
整个预测的过程可以归结为如下图:
通过训练数据，将数据输入到算法里面，我们能得到一个关于这个模型的一个假设h，然后利用这个假设h我们将其他输入变量输入到该假设中就会得到我们想要的预测结果y。那么对于单变量的线性回归我们用如下公式来表示：
hθ(x)=θ0+θ1x
线性模型其意思是模型是呈现线性变化的，为什么对于该房价的例子我们要采用单变量的，其原因是该模型的未知参数仅有一个x来决定。
对于假设函数其包含两个参数，θ0和θ1，那么如何来确定这两个参数来使得得出的假设函数直线更好的拟合数据集或者换句话说如何才能判断假设函数所产生的误差最小？ 
所以，给出如下定义：
minimize12m∑i=1m(hθ(x(i))−y(i))2
hθ(x(i))=θ0+θ1x(i)
第一个公式是最小化预测值与真实值差的平方的值，也叫作均方误差值，是衡量误差的一种方式。第二个公式是我们的假设函数。有时我们更喜欢写成如下形式：
J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2
minimizeJ(θ0,θ1)
其中的J(θ0,θ1)叫做代价函数(cost function),我们的目的就是最小化代价函数，使得假设函数更加接近真实数据集。为了能更好的解释代价函数我们举个例子并画出能说明其含义的图来：
左边的图在坐标系中分别画了三个的点(1,1)，(2,2)，(3,3)，假设这就是我们的数据集，那么现在我们就要对这个数据集进行假设函数的猜测，当然，学过数学的人一眼就能看出在θ0=0，θ1=1时，也就是假设函数hθ(x)=x时是最吻合数据集的，但是假如该数据集不会这样简单，不能一眼看出它的拟合线来该怎么办呢？注意到，当假设函数越能拟合数据集时，它的代价函数就越接近0，所以这就是采用代价函数来选择参数θ0，θ1从而产生出更好的假设函数来拟合数据集的原因。
选择题2 
刚刚上面的例子图片采用的二维的图像，因为图片中只包含了两个参数，θ1和J(θ1)，如果是三个参数的图片则会映射到三维的图像上面上：
在这个三维图片中，图中的图片上的点距离“水平地面”的高度就是它的代价值J(θ0,θ1)，或许我们还可以用另外一种图片来表示这个三维图：剖面图或者轮廓图。
从上到下，左边依次是不同的假设函数直线，右边依次是不同的轮廓图，这三个假设直线一个比一个更接近数据集，所以对应的轮廓图中的代价函数的点会更接近中心区域。所以运用此种图片可以更加直观的来判别假设函数的好坏。
Gradient Desent(梯度下降)
就像图片中画出的那样，梯度下降就是以最合适的方向来进行递减。假如自己站在一个山峰的某以高度，现在想以最快的速度去山底，所以就会问自己以我现在所在的位置我的四周360度的方向上哪一个方向上可以令我下降最快，然后不断进行迭代和执行，这样终会在某一时刻会到达山底。
但是又如上图所示，不可避免的当我所站的位置不一样，会下降到不同的山底，而这样的山底其实只是在我当前的视野中的山底并不是真正的山底，所以，此种方法会受限于初始位置的选择。换句话说就是会陷入局部最优
下面让我们来公式化梯度下降算法： 
其中α叫做学习率(learning rate)，∂∂θj叫做梯度，两者相乘叫做步长。
选择题3 
那么公式化完了梯度下降的公式，让我们再来看看这个公式所包含的意义和原理： 
上图中有两个小坐标图，先来看第一个小坐标图，注意到在图的右边有个红点，此时在它当前的位置上的导数是个正数，所以对于θ1:=θ1−α∂∂θ1中的α∂∂即为∂倍的某一个正数，所以对于更新后的θ1相当于减小了，所以更新后的θ1会逐渐靠近图中的谷底。
而第二个小坐标图，注意到在图的左边有个红点，此时在它当前的位置上的导数是个负数，所以对于θ1:=θ1−α∂∂θ1中的α∂∂即为∂倍的某一个负数，所以对于更新后的θ1相当于增加了，所以更新后的θ1也会逐渐靠近图中的谷底。以上就是梯度下降算法的自更新原理。
对于参数α也有选取上的一些注意事项，如果选取的太小则会导致到达最终点的时间过慢，太大的话会导致在最终点附近发生来回震荡(overshoot)： 
选择题4 
解析
- 可以看出当前所在的点已经陷入局部最优了，所以此时的θ不会改变并且会停止迭代。
还有一点是需要注意的，当迭代越来越靠近最优点时，其步长会越来越小。因为当趋于最优点时其导数会趋于0,所以导致步长越来越小，故只要确定了合适的学习率α就不必担心步长的大小问题了： 
小节测试
小节测试题1 
小节测试题2 
小节测试题3 
小节测试题4 
解析
- 选项三，α选择过小是有坏处的，会导致函数收敛速度过慢。
- 选项四，存在局部最优点的函数在进行梯度下降时会因为初始点的选择(θ0,θ1)的不同导致最终收敛结束后的结果不同。
小节测试题5 
解析
- 选项三，J(θ0,θ1)=0并不能说明迭代至了局部最优点了，只能说明假设函数与数据集完全拟合了。