一、逻辑回归算法简介
目的：经典的二分类算法
机器学习算法选择：先逻辑回归再复杂算法
决策边界：可以是非线性的
逻辑回归算法分三步（原理）：（1）需要确定一个预测函数，即预测出一个值来判断归属哪一类，可定义预测值大于某个阈值判断为一类，反之为另一类；（2）为了计算参数，我们需要定义一个损失函数，损失函数用来衡量真实值和预测值之间的差异，这个差值越小说明预测效果越好（3）第三步，用梯度下降法计算参数，使损失函数不断减小，得出参数后，带入预测函数就可以来进行预测了。
逻辑回归的优点：
1）速度快，适合二分类问题
2）简单易于理解，直接看到各个特征的权重
3）能容易地更新模型吸收新的数据
缺点：
对数据和场景的适应能力有局限性，不如决策树算法适应性那么强
二、Sigmoid 函数
公式：
(自变量取值为任意实数，值域[0,1])
解释：将任意的输入映射到了[0,1]区间，在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换，也就是分类任务。
图像：
预测函数：
（
）
分类任务：
整合：
（为结果看起来更简洁）
解释：对于二分类任务（0，1），整合后y取0只保留
，y取1只保留
三、似然函数
似然函数：
对数似然：
此时应用梯度上升求最大值，引入
转换为梯度下降任务（梯度上升转换为梯度下降）
求导过程：
四、参数更新，求解
参数更新：
（阿发代表学习率，m是minibach）
五、多分类softmax
参考：