[发明专利]适用于小样本预测的消极支持向量机模型

权利要求书

1.一种适用于小样本预测的消极支持向量机模型，其特征在于首先需要建立模型，具体包括以下内容：

步骤1：给定一个样本T＝{(x₁,y₁),(x₂,y₂),…,(x_l,y_l)}和待预测个体(x*,y*)，其中，x_i∈Rⁿ，y_i∈R，i＝1,2,…l，l为T的容量，x_i为T中个体的输入，y_i为T中个体的输出，目标是基于T和x^*建立消极支持向量机模型，对y^*进行预测；

步骤2：以ε-支持向量机回归模型为基础构造消极支持向量机模型，在ε-支持向量机回归模型中，为了保证其具有良好的泛化性能，引进了ε-不敏感损失函数，如式(1)：

|y_i-f(x_i)|_ε＝max{0,|y_i-f(x_i)|-ε}(1)

式中，f(·)为模型的决策函数，ε为一个事先给定的小正数，当y_i与f(x_i)之间的误差不超过ε时，认为模型对(x_i,y_i)的拟合是无误差的；

步骤3：确定ε-支持向量机回归模型的目标是找到适当的决策函数；

f(x)＝wΦ(x)+b(2)

拟合T，使得

12||ω||2+CΣi=1l|yi-f(xi)|ϵ---(3)]]>

最小，式中，w为法向量，Φ(·)为映射函数，b为截距，C＞0，称为惩罚参数，在ε-支持向量机回归模型中，ε为一定值，这说明ε-支持向量机回归模型对样本中所有个体容许的无损失误差区间是相等的，步骤4：为了建立消极支持向量机回归模型，首先引入Ε-不敏感损失函数，如式(4)：

|y_i-f(x_i)|_E＝max{0,|y_i-f(x_i)|-E(||x_i-x^*||)}(4)

式中，E(·)为样本中个体x_i与待预测个体x^*之间距离的函数，||x_i-x^*||越小，E(||x_i-x^*||)越小，反之亦然，一般情况下，可定义E(·)为式(5)：

式中，ε为一个事先给定的小正数，由式(5)可知，当时，E(||x_i-x^*||)＝ε；当||x_i-x^*||＝0时，E(||x_i-x^*||)＝0，

当E(·)定义为式(5)时，Ε-不敏感损失函数；

类似于ε-支持向量机回归模型，消极支持向量机回归模型的目标也是寻找一个适当的决策函数：

f(x)＝wΦ(x)+b (6)拟合T，使得

12||ω||2+CΣi=1l|yi-f(xi)|E---(7)]]>

最小。

2.根据权利要求1所述的一种适用于小样本预测的消极支持向量机模型，其特征在于还包括对上述模型进行求解，具体包括：最小化式(7)等价于求解约束最优化问题式(8)-式(11)：

minω,ξi,ξi*,b12||ω||2+CΣi=1l(ξi+ξi*)---(8)]]>

s.t.y_i-ω·Φ(x_i)-b≤E(||x_i-x^*||)+ξ_i,i＝1,2,…,l (9)

ω·Φ(xi)+b-yi≤E(||xi-x*||)+ξi*,i=1,2,...,l---(10)]]>

ξi,ξi*≥0,i=1,2,...,l---(11)]]>

为了求解此约束最优化问题，引进广义拉格朗日函数(Generalized Lagrange function)，如式(12)所示：

L(ω,ξ,ξ*,b*,α,α*,μ,μ*)=12||ω||2+CΣi=1l(ξi+ξi*)+Σi=1lαi(yi-ω·Φ(xi)-b-E(||xi-x*||)-ξi)+Σi=1lαi*(ω·Φ(xi)+b-yi-E(||xi-x*||)-ξi*)+Σi=1lμi(-ξi)+Σi=1lμi*(-ξi*)---(12)]]>

式中，

式(12)的极大极小问题

maxα,α*,μ,μ*minω,ξ,ξ*,bL(ω,ζ,ζ*,b,α,α*,μ,μ*)---(15)]]>

s.t.αi,αi*,μi,μi*≥0,i=1,2,...,l---(16)]]>

即为约束最优化问题式(8)-式(11)的对偶问题；

设原始问题的最优解为对偶问题的最优解为首先求取根据KKT条件(Karush-Kuhn-Tucker conditions)，可得：

▿ωL(ω‾,ξ‾,ξ‾*,b‾,α‾,α‾*,μ‾,μ‾*)=ω‾-Σi=1lα‾iΦ(xi)+Σi=1lα‾i*Φ(xi)=0---(17)]]>

▿ξiL(ω‾,ξ‾,ξ‾*,b‾,α‾,α‾*,μ‾,μ‾*)=C-α‾i-μ‾i=0---(18)]]>

▿ξi*L(ω‾,ξ‾,ξ‾*,b‾,α‾,α‾*,μ‾,μ‾*)=C-α‾i*-μ‾i*=0---(19)]]>

▿bL(ω‾,ξ‾,ξ‾*,b‾,α‾,α‾*,μ‾,μ‾*)=-Σi=1lα‾i+Σi=1lα‾i*=0---(20)]]>

对式(17)-式(19)进行变换可得式(21)-式(23)，

ω‾=Σi=1lα‾iΦ(xi)-Σi=1lα‾i*Φ(xi)---(21)]]>

μ‾i=C-α‾i---(22)]]>

μ‾i*=C-α‾i*---(23)]]>

式(20)-式(23)代入式(15)-式(16)化简得：

minα,α*(12Σi=1lΣj=1l(αi-αi*)(αj-αj*)Φ(xi)·Φ(xj)-Σi=1l(αi(yi-E(||xi-x*||))-αi*(yi+E(||xi-x*||))))---(24)]]>

s.t.Σi=1l(αi*-αi)=0---(25)]]>

0≤x,αi*≤C,i=1,2,...,l---(26)]]>

式中，Φ(x_i)·Φ(x_j)＝K(x_i,x_j)为正定核函数(positive definite kernel function)，

容易证明，式(24)-式(26)是一个凸二次规划问题，可以采用内点法、序列最小最优化算法(sequential minimal optimization,SMO)等方法求解其最优解下面求取根据KKT条件(Karush-Kuhn-Tucker conditions)得：

α‾i(yi-ω‾·Φ(xi)-b‾-E(||xi-x*||)-ξ‾i)=0---(27)]]>

α‾i*(ω‾·Φ(xi)+b‾-yi-E(||xi-x*||)-ξ‾i*)=0---(28)]]>

μ‾iξ‾i=0---(29)]]>

μ‾i*ξ‾i*=0---(30)]]>

当时，根据式(27)和式(18)可得：

yi-ω‾·Φ(xi)-b‾-E(||xi-x*||)-ξ‾i=0---(31)]]>

μ‾i=C-α‾i>0---(32)]]>

又根据式(29)可得：

ξ‾i=0---(33)]]>

将式(21)、式(33)代入式(31)并变形可得：

b‾=yi-Σj=1l(α‾j-α‾j*)K(xi,xj)-E(||xi-x*||)---(34)]]>

将式(21)、式(34)代入式(6)可得最终的决策函数，如式(35)所示，

f(x)=Σj=1l(α‾j-α‾j*)K(xj,x)+[yi-Σj=1l(α‾j-α‾j*)K(xi,xj)-E(||xi-x*||)]---(35).]]> 3