首页 > 技术文章 > 线性回归

KnightLaHire 2021-07-04 13:22 原文

可以从银行贷款问题来理解线性回归,x1,x2…xn可以理解为银行是否给我们贷款的参考因素(例如:年龄,工资,工作单位),而我们要求的y就是最终的预测结果,也就是银行给我们贷款的金额。

线性回归的目标就是用我们提前准备好的数据集,用这些数据来画点,将这些点拟合成一条线或是一个高维的面,最终得到一个表示这个面或线的方程。

公式:

公式中θ1是x1(年龄)的参数,θ2是x2(工资)的参数,θ0是偏置项(可以理解为贷款金额上下浮动)。

在我们抽象模型的时候为了方便化简,我们对数据集加入一列数字1作为θ0的输入值(x0)得到公式:

化简转化为矩阵:

 引入误差问题,所谓的误差就是真实值和预测值之间肯定存在差异,这个差异就是误差(ε)

将误差值与最初的预测公式结合得到预测公式:

误差ε(i)是独立并具有相同分布,并且服从均值为0方差为θ2的高斯分布。

独立:是指每一条数据之间是没有相关性的(可以理解为贷款者之间互不认识)

同分布:是指都存在同一个拟合面上(可以理解为贷款者们去的是同一家银行)

高斯分布:是指对于工资、年龄都相同的贷款者银行给的钱也会有些许不同,但是大体在标准值上下,但是绝大多情况下这个浮动不会太大,极小情况下浮动会比较大,符合正常情况。

高斯分布图如下:

高斯分布公式:

即误差服从高斯分布得到公式:

 

 似然函数:

 

 

 为了方便理解将似然函数转换为对数似然函数

对数似然:

                             

为了让预测值是真实值的可能性越大越好,我们需要让似然函数的求解结果也是越大越好项中m大于零,项的结果也就是恒大于零,项也是正数,为了保证结果取到极大值,可对项取极小值,得到目标函数即:

 目标函数:

对目标函数求偏导:

 

 令偏导等于0:

 

 

 

 

推荐阅读