李宏毅机器学习之逻辑回归笔记

第一步--定义函数集

x 和 w 都是向量，可以从朴素贝叶斯推出来这个公式

)

第二步--定义函数的好坏

假设每个样本都是基于$$f_{w, b}(x)=P_{w, b}\left(C_{1} \mid x\right)$$ 该函数，所以可以得到训练数据的可能性函数，使之最大的参数就是最好的参数。

)

将函数取log，并且转化为求最小值的问题，将c1,c2换为取值为0,1的y1, y2

)

经过转换得到两个变量的交叉熵公式，也可以理解为损失函数，将其最小值最为优化的目标

)

第三步--找到最好的函数

对损失函数求导，得到变形

)

对 w 求偏导

)

逻辑回归和线性回归的对比

)

Discriminative v.s. Generative

采用概率模型找到\(\mu\) 和 协方差的方法称为生成法，通过逻辑回归直接找到w 和 b的方法称为discriminative，

)

Multi-class Classification

)