[发明专利]适用于支持向量机训练的不平衡样本加权方法

摘要

本发明主要用于人工智能领域，涉及一种适用于支持向量机训练的不平衡样本加权方法。本发明利用聚类和费歇尔判别率准则对冗余数据约减，然后计算约减后的数据样本到模糊分类面的距离，根据这个距离来赋予相应的权值，然后用这些加权后的数据样本进行支持向量机的训练。本发明针对传统的支持向量机在处理大数据集或不平衡数据样本上仍有需要改进和提高的地方，本发明就提出了一种新的算法，在已约减的大样本数据上再进行相应的加权，以此来用于支持向量机的训练学习，不仅提高了支持向量机的训练速度，而且还提高了其分类精度，这对于大样本的数据集的分类是大有裨益的。

主权项

一种适用于支持向量机训练的不平衡样本加权方法，其特征是：步骤如下：步骤一：设训练样本数据为TD＝{(d_i，L_i)|d_i∈Rⁿ，L_i∈{1,...,S},i＝1,...,N}；d_i是n维实向量空间Rⁿ上的样本数据对象，L_i是样本数据对象d_i的类别标签；训练样本数据集合TD中共有N个样本数据对象，这些样本数据对象分属于S个类别；用K均值聚类算法将训练样本集中N个样本数据对象数据聚类成K个子类，所得子类为T＝{T_c|c＝1,...,K}；根据得到的K个子类中样本数据对象相应的类别分布情况，将这K个子类分为样本数据对象只含一种类别的纯子类UT＝{ut_j|j＝1，...,P,1≤P≤K}和包含两种或以上类别的混合子类MT＝{mt_q|q＝1，...，K‑P},K是UT和MT的并集，即有K＝UT∪MT；将MT中每个混合子类中的样本数据对象按其相应类别再划分为多个纯子类，第a个混合子类MT_a有两个类别的样本数据对象，就将其再分为两个纯子类，设K‑P个混合子类中还有WC个纯子类即UMT＝{umt_b|b＝1，...,WC}，最终得到P+W个纯子类集合X＝UT∪UMT；步骤二：计算集合X上每个纯子类的聚类中心，设X集合上第g个纯子集的样本数据集合为{d_g，h|h＝1，...，m}，d_g，h为训练样本数据集合TD经聚类后在X集合的第g个子集上的样本数据，设该类样本有m个样本数据对象且每个样本数据对象的类别标签都是S_h，则聚类中心通过X集合上P+WC个聚类中心及相应的类别标签组成集合GS＝{(Ge,Se)|Se∈{1，...，S},e＝1，...P+WC},然后使用libsvm来训练这些类中心，从而得到相应的模糊分类面f(x)＝w^Tx+c,x是模糊分类面上的支持向量，w是根据训练得到的模糊分类面上支持向量的权重，c是偏移量；当f(x)>0时，表示样本数据对象属于某一类，当f(x)<0时，则属于另一类，f(x)＝0时，则表示无法判断样本数据对象属于任何一类；支持向量机被设计为两类问题的分类，当样本有S个类别时，采用一对一的两两分类训练得到S(S‑1)/2个模糊分类面，对任意一类样本集合，其模糊分类面都为S‑1个；步骤三：采用类最大最小距离方法对纯子类集合UT进行遴选，从其中找到离分类面较远的某些纯子类，将这些纯子类看作是不包含支持向量的，删除这些子类以减少集合X中所包含的对训练作用不大的样本数据，得到集合X上约减纯类集合后的子集RX₁；步骤四：利用费歇尔判别法对遴选后得到的纯子类集合RX₁继续消除子类内层冗余数据，得到样本数据集RX_2，假设RX₂中剩下了M个子类集合；步骤五：计算步骤四当中的样本数据集RX₂中各个数据对象到模糊分类面的距离dis_i，然后依照样本加权公式V_i＝(1+dis_i)^‑z,i＝1,...,M；其中V_i是相应的权值，z是经过试验后得到的一个取值在1.0‑1.2之间的一个变量；对RX₂中剩下的M个子类中所有的数据对象根据到模糊分类面的远近分配相应的权值V_i，经过加权之后的样本数据集合RX₂最后变为最终用来训练的样本数据集RX₃；步骤六：对最后保留下来的样本数据集RX₃进行SVM训练，就可以得到最终的支持向量。