更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

支持向量回归

传统回归模型如线性回归，对于样本 $(x, y)$ 是直接基于模型，通过预测值 $f (x_{i}) y$ 和真实值 $y$ 之间的差别计算损失，并且当 $f (x_{i}) y = y$ 时损失才为零。

支持向量回归(support vector regression, SVR)则可以容忍 $f (x_{i}) y$ 和 $y$ 之间有最多 $ϵ$ 的偏差，即当 $| f (x_{i}) y - y | > ϵ$ 的时候才计算损失，这相当于以 $f (x_{i}) y$ 为中心，构建了一个宽度为 $2 ϵ$ 的间隔带，如果样本落入间隔带，则他的分类就是正确的。

一、支持向量回归学习目标

支持向量机和支持向量回归的优化问题
支持向量回归目标函数的对偶形式
支持向量回归模型系数的稀疏性
核支持向量回归
支持向量机的优缺点

二、支持向量回归详解

2.1 支持向量机目标函数优化问题回顾

线性可分SVM目标函数优化问题为

min    ω, b 1 2 | | ω | | 2 s . t . y i (ω x i + b) \geq 1, i = 1, 2, \dots, m (1) (2)

线性SVM由于在目标函数中加入了松弛因子 $ξ_{i} > 0$ ，目标函数优化问题为

min    ω, b, ξ 1 2 | | ω | | 2 + C \sum i = 1 m ξ i s . t . y i (ω x i + b) \geq 1 - ξ i, i = 1, 2, \dots, m ξ i \geq 0, i = 1, 2, \dots, m (3) (4) (5)

2.2 支持向量回归损失度量函数

支持向量回归由于有一个间隔带，因此它的损失度量函数为

l (f (x i), y i) = {0, | f (x i) - y i | - ϵ, i f | f (x i) - y i | \leq ϵ i f | f (x i) - y i | > ϵ

2.3 支持向量回归目标函数优化问题

由于SVR的间隔带是自己引入的，所以SVR的目标函数变为

min    ω, b 1 2 | | ω | | 2 + C \sum i = 1 m l (f (x i) - y i)

如果和线性SVM一样引入松弛因子，但是由于我们的误差度量中的 $| f (x_{i}) - y_{i} | \leq ϵ$ 是绝对值小于，因此这个不等式其实是两个不等式，则SVR需要引入两个松弛因子 $ξ_{i}$ 和 $\hat{ξ_{i}}$ ，则SVR的优化问题将变成

min    ω, b, ξ i, ξ i^1 2 | | w | | 2 + C \sum i = 1 m (ξ i + ξ i^)

s . t . f (x i) - y i \leq ϵ + ξ i, y i - f (x i) \leq ϵ + ξ i^, ξ i \geq 0, ξ i^\geq 0, i = 1, 2, \dots, m (6) (7) (8)

对SVR的优化问题引入拉格朗日乘子 $μ_{i} \geq 0, \hat{μ_{i}} \geq 0, α_{i} \geq 0, \hat{α_{i}} \geq 0$ ，通过拉格朗日乘子法即可得到拉格朗日函数

L (w, b, α, α^, ξ, ξ^, μ, μ^) = 1 2 | | w | | 2 + C \sum i = 1 m (ξ i + ξ i^) - \sum i = 1 m μ i ξ i - \sum i = 1 m μ i^ξ i^+ \sum i = 1 m α i (f (x i) - y i - ϵ - ξ) + \sum i = 1 m α i^(y i - f (x i) - ϵ - ξ i^) (9) (10) (11)

2.4 支持向量回归目标函数对偶形式

通过拉格朗日即可得到支持向量回归目标函数的原始形式

m i n      w, b, ξ i, ξ i^m a x      μ i \geq 0, μ i^\geq 0, α i \geq 0, α i^\geq 0 L (w, b, α, α^, ξ, ξ^, μ, μ^)

可以发现支持向量回归的目标函数的原始形式也满足KTT条件，即可以通过拉格朗日对偶将我们的问题转化为等价的对偶问题，即

m a x      μ i \geq 0, μ i^\geq 0, α i \geq 0, α i^\geq 0 m i n      w, b, ξ i, ξ i^L (w, b, α, α^, ξ, ξ^, μ, μ^)

首先求优化函数对让 $w, b, ξ_{i}, \hat{ξ_{i}}$ 的极小值，再求拉格朗日乘子 $μ_{i}, \hat{μ_{i}}, α_{i}, \hat{α_{i}}$ 的极大值，即先得到拉格朗日函数 $L (w, b, α, \hat{α}, ξ, \hat{ξ}, μ, \hat{μ})$ 分别对 $w, b, ξ_{i}, \hat{ξ_{i}}$ 求偏导为0可得

w = \sum i = 1 m (α i^- α i) x i, 0 = \sum i = 1 m (α i^- α i), C = α i + μ, C = α i^+ μ i^, (12) (13) (14) (15)

将拉格朗日函数对 $w, b, ξ_{i}, \hat{ξ_{i}}$ 的偏导代入拉格朗日函数，即可得SVR的对偶问题

m a x      α, α^\sum i = 1 m y i (α i^- α i) - ϵ (α i^+ α i) - 1 2 \sum i = 1 m \sum j = 1 m (α i^- α i) (α i^- α j) x T i x j

s . t . \sum i = 1 m (α i^- α i) = 0 0 \leq α i, α i^\leq C (16) (17)

对于上述SVR的目标函数的对偶形式取对数，即可变成最小化目标函数的优化问题，即

m i n      α, α^- \sum i = 1 m y i (α i^- α i) + ϵ (α i^+ α i) + 1 2 \sum i = 1 m \sum j = 1 m (α i^- α i) (α i^- α j) x T i x j

s . t . \sum i = 1 m (α i^- α i) = 0 0 \leq α i, α i^\leq C (18) (19)

对于这个目标函数，依然可以使用SMO算法求出对应的 $α_{i}, \hat{α_{i}}$ ，进而求出回归模型的 $w, b$ 。

2.5 支持向量回归模型系数的稀疏性

在对支持向量回归的目标函数优化的时候，我们假设该目标函数满足KKT条件，该KKT条件为

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪αi(f(xi)−yi−ϵ−ξi)=0,αi^(yi−f(xi)−ϵ−ξi^)=0,αiαi^=0,ξiξi^=0,(C−αi)ξi=0,(C−αi^ξi^=0{αi(f(xi)−yi−ϵ−ξi)=0,αi^(yi−f(xi)−ϵ−ξi^)=0,αiαi^=0,ξiξi^=0,(C−αi)ξi=0,(C−αi^ξi^=0

从上式可以看出，只有当 $f (x_{i}) - y_{i} - ϵ - ξ_{i} = 0$ 的时候 $α_{i}$ 才可以为非0解，并且只有当 $y_{i} - f (x_{i}) - ϵ - \hat{ξ_{i}} = 0$ 的时候 $\hat{α_{i}}$ 才可以为非0解。

首先根据松弛变量的定义，如果 $| f (x_{i}) - y_{i} - ϵ - ξ_{i} | < ϵ$ ，则样本点落在间隔带中，则 $ξ_{i} = 0, \hat{ξ_{i}} = 0$ ，既可以得到 $f (x_{i}) - y_{i} - ϵ - ξ_{i} \neq 0, y_{i} - f (x_{i}) - ϵ - \hat{ξ_{i}} \neq 0$ ，则可以得到 $α_{i} = 0, \hat{α_{i}} = 0$ ，则 $\hat{α_{i}} - α_{i} = 0$ 。

即只有样本点 $(x_{i}, y_{i})$ 不落入间隔带中才能使得相应的 $α_{i}$ 和 $\hat{α_{i}}$ 为非0解，并且由于样本点既不能同时在分隔超平面的两边，即 $f (x_{i}) - y_{i} - ϵ - ξ_{i} = 0$ 和 $y_{i} - f (x_{i}) - ϵ - \hat{ξ_{i}} = 0$ 不能同时存在，即 $α_{i}$ 和 $\hat{α_{i}}$ 至少有一个为0并且不能同时为0，则 $\hat{α_{i}} - α_{i} \neq 0$ 。

假设 $α_{i}$ 已经通过SMO算法得到，则可以得到 $w = \sum_{i = 1}^{m} (\hat{α_{i}} - α_{i}) x_{i}$ ，即可得SVR的分离超平面为

f (x) = \sum i = 1 m (α i^- α i) x T i x + b

从上式可以看出当样本点落在间隔带，由于 $\hat{α_{i}} - α_{i} = 0$ ，即 $w = 0$ ，则 $w$ 不受这些间隔带内点的影响，对于间隔带外的样本点，则会对 $w$ 造成影响，即这些点为SVR的支持向量。并且由于SVR的支持向量仅仅是训练样本的一部分，所以SVR的解 $w$ 具有稀疏性。

SVR对于 $b$ 的求解类似于SVM，由于能得到多个 $b$ 值，所以最后对 $b$ 取平均值。

2.6 核支持向量回归

上一节得到了SVR的分离超平面为

f (x) = \sum i = 1 m (α i^- α i) x T i x + b

如果我们使用和SVM一样的核技巧，即对SVR训练数据做一个样本映射，即另 $ϕ (x)$ 表示 $x$ 映射后的特征向量。则分离超平面可以变为

f (x) = \sum i = 1 m (α i^- α i) ϕ (x i) T ϕ (x) + b = \sum i = 1 m (α i^- α i) k (x, x i) + b (20) (21)

其中 $k (x, x_{i})$ 为核函数。

三、小结

SVR除了可以支持回归问题外，其他方面和SVM差不多，由于SVR也算作是SVM的一个分支，此处不多说什么，参考SVM即可。

02-36 支持向量回归