1 引言
- Machine Learning 应用
- What is Mechine Learning
- Machine Learning Algorithms
- 监督学习
- 例子1：使用一次或者二次函数模型拟合房价(线性模型非线性模型)
这也是一个回归问题(Regression):
- 例子2：分类问题(二分类，多分类)
多特征问题
- 使用支持向量机(SVM):可以处理无限特征问题
SVM 是一个非常优雅的算法，具有完善的数学理论，但是如今工业界用到的不多
- 无监督学习
-
聚类算法: 新闻聚类,基因聚类
-
机器学习的三大基本模型
Regression
2 模型描述
- 线性回归，一元线性模型
- cost function
- 线性回归模型
- h(x)和J(x)可视化加以理解
- 二维的损失函数,梯度下降法
- 三维函数表示方式
- 等高线表示
- 梯度下降：以线性回归为例
- 可视化理解寻找局部最优解
- 数学原理
梯度:代表着导数变化最大的方向，减去梯度表示函数下降速度最快
梯度分量:每个分量同时减去梯度分量,总体上按照梯度方向在下降
步伐：每个梯度分类乘以一个相同的值，进行不同扩大或缩小,以加快或降低下降的速度 - 各个分量只有进行同步下降才能按照梯度的方向进行下降
- 梯度下降知识点
- 直观理解偏导数意义
- 直观理解步伐(学习率)意义:收敛和发散
- 初始值在最低点理解
- 使用固定学习率,也会达到局部最优解，接近最小值时，导数会不断减小
- 线性回归的梯度下降
- 计算梯度
- Batch Gradient Descent: 每次下降使用所有train examples
参考