首页 > 技术文章 > 模型融合系数

iupoint 2019-06-06 15:47 原文

模型1预测方差为V1,模型2预测方差为V2,总能找到权重,使融合模型的预测方差小于其中任何一个模型。

设:模型1的预测值随机变量为X,模型2的预测值随机变量为Y,即证存在a使得:Var(aX + (1-a)Y) < min(V1, V2)

不妨设,V1<V2,且V2=kV1

则:Var(aX + (1-a)Y)-V1 = [(1+k)a^2 -2ka + (k-1)]V1

即求:(1+k)a^2 -2ka + (k-1) < 0的a,  根据求根公式易得:(k-1)/(k+1) < a < 1

最小预测方差在:a=k/(k+1) 处取得

 

拓展:

对于三个模型的融合:V1<V2(=k1V1)<V3(=k2V2),aX+bY+cZ

易得:a=k1k2/(k1+k2+k1k2), b=k2/(k1+k2+k1k2), c=k1/(k1+k2+k1k2)时融合模型的预测方差最小。

 

推荐阅读