1.简介
logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域
例如,探讨引发疾病的危险因素,并根据危险因素预测疾病发生的概率
2.概念
logistic回归是一种广义线性回归(generalized linear model),因此与多重线性回归分析有很多相同之处。
它们的模型形式基本上相同,都具有 w‘x+b,其中w和b是待求参数,其区别在于他们的因变量不同,多重线性回归直接将w‘x+b作为因变量即y =w‘x+b
logistic回归则通过函数L将w‘x+b对应一个隐状态p,p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值
如果L是logistic函数,就是logistic回归,如果L是多项式函数就是多项式回归。
Logistic回归模型的适用条件:
因变量为二分类的分类变量或某事件的发生率,并且是数值型变量。但是需要注意,重复计数现象指标不适用于Logistic回归
残差和因变量都要服从二项分布。二项分布对应的是分类变量,所以不是正态分布,进而不是用最小二乘法,而是最大似然法来解决方程估计和检验问题
自变量和Logistic概率是线性关系
各观测对象间相互独立
算法
- 线性回归
- 逻辑回归
- 决策树
- SVM
- 朴素贝叶斯
- K最近邻算法
- K均值算法
- 随机森林算法
- 降维算法
- Gradient Boost 和 Adaboost 算法