[发明专利]基于多核函数自适应融合的支持向量机参数选择方法

摘要

本发明公开了一种基于多核函数自适应融合的支持向量机参数选择方法，与现有技术相比，本发明分别对局部核函数、全局核函数、混合核函数以及多核函数的特性进行了具体分析。把多核函数的所有融合系数、核函数参数、回归参数组合在一起作为参数状态向量，从而将模型选择问题转换成一个非线性系统的状态估计问题，然后用五阶容积卡尔曼滤波进行参数估计，实现多核函数加权系数的自适应融合及核参数、回归参数的选择。

主权项

一种基于多核函数自适应融合的支持向量机参数选择方法，其特征在于，包括以下步骤：(1)由于多种核函数加权融合而成的多核函数是一种新的核函数，把所有的加权融合系数也看成是多核函数的核参数，故将多核函数加权融合系数pt,pr、局部核函数的内部参数、全局核函数的内部参数以及惩罚参数C组合在一起作为支持向量机的核参数γ，进而整个参数的选择问题就可作为一个非线性动态系统的滤波估计问题；令kt为第t个局部核函数的所有核参数，kr为第r个全局核函数的所有核参数，则参数状态向量γ＝[p1,...pt,...pm,p1,…pr,...pn,k1,...kt,...km,k1,...kr,...kn,C]T，首先建立如下参数非线性系统γ(k)＝γ(k‑1)+w(k)   (18)y(k)＝h(γ(k))+v(k)   (19)其中，γ(k)是n维参数状态向量，y(k)是观测输出，过程噪声w(k)和观测噪声v(k)均是均值为零的高斯白噪声，且方差分别为Q和R；(2)由于待求的最优参数可以看做是固定不变的，所以可以建立式(18)所示的关于参数的线性状态方程，其次对于任何一个状态向量γ(k)，经过LIBSVM[22]训练预测之后每一个原始数据都有一个预测输出，故可建立式(19)所示的非线性观测方程；为了五阶CKF滤波算法的运行，需要对系统模型加入人工过程白噪声和观测白噪声；(3)假设支持向量回归机的原始样本数据集合为D＝{(xi,yi)|i∈I}，其中指标集合I＝{1,2,...,N}，yi为数据的目标向量，运用k‑折交叉验证方法将样本数据分成k组，即Dj＝{(xi,yi)|i∈Ij}   (20)其中j∈{1,2,...,k}，并且所有组的指标集Ij满足I1∪Ij∪…∪Ik＝I，所有组的数据集Dj满足D1∪D2∪…∪Dk＝D；在每一次支持向量回归的迭代运算中，使用其中任意一组数据Dp用作预测，剩下的k‑1组数据作为训练数据库，给定初始的参数γ0利用LIBSVM训练支持向量回归机；设此时训练结果为和则此时的决策函数为f(x)=Σi=1l(α~i*-α~i)Kmk(xi·x)+b~---(21)]]>其中，(4)将数据组Dp代入式(15)，即可得到Dp的预测输出值y~p(x)=Σt∈Ip(α~p*-α~p)Kmk(xp·x)+b~---(22)]]>分别将数据组Di，i∈{1,2,...,k}作为预测数据组，其余的数据组D1,...,Di‑1,Di+1,...,Dk作为支持向量回归机训练数据组，经过k‑折交叉验证回归预测之后，样本数据集D中的每一个数据有且仅有一个预测输出值；故对于参数向量γ，可定义如下预测输出函数：y~=h(γ)---(23)]]>其中，(5)因此针对非线性系统模型(18)(19)，基于多核函数及k‑折交叉验证法用k个子LIBSVM训练数据集D，并将它的预测输出输入到五阶容积卡尔曼滤波器当中进行参数状态估计；整个基于多核函数自适应融合的支持向量回归机模型参数选择算法同样是包括两个过程，即时间更新过程和测量更新过程：时间更新：由于该更新过程是对状态的预测更新，且状态方程是线性已知的，故可根据文献[16]五阶容积卡尔曼滤波算法的时间更新步骤公式(5)‑(7)以及容积规则(46)进行支持向量回归机模型参数选择算法的时间更新；测量更新：带入参数状态向量γ(k)到支持向量回归机参数中，利用LIBSVM来训练数据集，再预测输出然后，将预测输出函数(17)嵌入到五阶容积卡尔曼滤波算法的测量更新步骤公式(8)‑(14)及容积规则(46)中对各个参数进行估计。