首页 > 技术文章 > SVM

pjishu 2019-05-05 11:38 原文

 1、代价函数(若不采用核函数)

其中:

 

这里的C是一个常数,是人为设定的,类似于λ,是一个正则化参数。

2、假设函数

3、决策边界

下面的黑线是SVM的一条决策边界,它能最大化直线与样本的最短距离,即margin很大,这样就能将正负样本以最大的间距分隔开来(因此SVM有被称为大间距分类器)

4、C

假定C值设定很大,为了使得代价函数小,那么Σ项就需要很小,这样决策边界就很容易受到异常值的影响,下图中就会从黑线变到粉线。

C值过大会导致:低偏差,高方差

C值过小会导致:高偏差,低方差

 5、逻辑回归,SVM,神经网络

svm优化问题常常是一个凸优化问题,容易收敛到全局最优。

 

推荐阅读