1、代价函数(若不采用核函数)
其中:
这里的C是一个常数,是人为设定的,类似于λ,是一个正则化参数。
2、假设函数
3、决策边界
下面的黑线是SVM的一条决策边界,它能最大化直线与样本的最短距离,即margin很大,这样就能将正负样本以最大的间距分隔开来(因此SVM有被称为大间距分类器)
4、C
假定C值设定很大,为了使得代价函数小,那么Σ项就需要很小,这样决策边界就很容易受到异常值的影响,下图中就会从黑线变到粉线。
C值过大会导致:低偏差,高方差
C值过小会导致:高偏差,低方差
5、逻辑回归,SVM,神经网络
svm优化问题常常是一个凸优化问题,容易收敛到全局最优。