[发明专利]基于粗糙支持矢量机的模式分类识别方法

摘要

本发明属于模式分类识别技术领域，具体为一种基于支持矢量机的模式分类识别方法。本发明将粗糙集理论引入支持矢量机，定义支持矢量机的分类间隔为一粗糙分类间隔，在训练支持矢量机时，使该粗糙分类间隔最大，来确定两类间的最优分界面。本发明克服了传统支持矢量机在训练样本中存在噪声或离群数据情况下出现的过学习问题，从而提高了支持矢量机的推广能力。而且所需计算时间和传统支持矢量机相当。

主权项

1、一种基于粗糙支持矢量机的模式分类识别方法。设{(x_i，y_i)，i＝1，2，...，l}为包含l个样本的训练集，其中第i个样本x_i∈R^d为d维的特征矢量，y_i∈{+1，-1}为x_i的类别；支持矢量机寻找两类间的最优分界面使分类间隔最大；对于训练样本为线性不可分的情况，支持矢量机通过非线性映射φ将输入特征空间映射到更高维的特征空间Z，使两类样本在此高维特征空间中线性可分，以寻找两类间的最优分界面；在高维特征空间中，位于分界面上的样本点φ(x)满足w·φ(x)+b＝0，其中w∈Z，b∈R，w和b分别为加权矢量和偏移量，两者定义了高维特征空间中的分界面；某样本x_i通过决策函数sgn(w·φ(x_i)+b)判为两类之一；其特征在于本方法的具体步骤如下：(1)定义粗糙分类间隔：由上粗糙间隔和下粗糙间隔表示，其中上粗糙间隔宽度为下粗糙间隔宽度为ρ_u＞ρ_l；(2)用粗糙支持矢量机最大化粗糙间隔来确定最优分类面，这一优化问题表示为公式(5)；minw,b,ξ,ξ′,ρl,ρu12||w||2-vρl-vρu+1lΣi=1lξi+δlΣi=1lξi′]]>subject to y_i(w·φ(x_i)+b)≥ρ_u-ξ_i-ξ_i′，0≤ξ_i≤ρ_u-ρ_l，ξ_l′≥0，ρ_l≥0，ρ_u≥0，    (5)其中δ＞1；(3)为求解步骤(2)定义的优化问题，将其转换为由公式(8)表示的对偶问题来求解；minα12Σi=1lΣj=1lαiαjyiyjK(xi,xj)]]>subjecttoΣi=1lαiyi=0,0≤αi≤δl,Σl=1lαi≥2v,---(8)]]>其中，v的选取范围为0～1，δ的选取范围为2～10；(4)求解对偶问题(8)获得其最优解(α₁^*，...，α_l^*)^T，并由公式(9)计算b^*：b*=-12Σl=1lαi*yi(K(xi,xj)+K(xi,xk)),---(9)]]>其中j∈{i|αi*∈(0,1l),yi=1},]]>k∈{i|αi*∈(0,1l),yi=-1},]]>或者j∈{i|αi*∈(1l,δl),yi=1},]]>k∈{i|αi*∈(1l,δl),yi=-1},]]>至此完成粗糙间隔支持矢量机训练；(5)分类识别，未知样本的类别由公式(3)计算得到：y~=sgn(w*·φ(x~)+b*)=sgn(Σl=1lαi*yiK(x~,xi)+b*),---(3)]]>(α₁^*，...，α_l^*)^T和b^*已由步骤(4)求得，其中，K(x_i，x_j)＝φ(x_i)·φ(x_j)。