当我们得到一个目标函数后，如何进行求解？直接求解？
常规套路：机器学习的常规套路就是我交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让它朝着这个方向去做
如何优化：一口吃不成一个胖子，我们要静悄悄的一步步的完成迭代（每次优化一点点，累积起来就是一个大成绩了）
目标函数：
下山分几步走呢？（更新参数）
1) 找到最合适的方向
2) 走那么一小步，走快了该“跌倒”了，就是可能跨过了最小值，走到了极值点。
3) 按照方向和步长去迭代更新我们的参数
目标函数：
批量梯度下降：
批量梯度下降，容易得到最优解，但是由于每次考虑所有样本速度很慢。
随机梯度下降：
每次找一个样本，迭代速度快，但不一定每次都朝着收敛方向
小批量梯度下降：
每次更新选择一小部分数据来算，实用。