[发明专利]一种提高二分类支持向量机分类精度的方法

说明书

技术领域

本发明属于分类技术及模式识别领域，具体涉及一种提高二分类支持向量机分类精度的方法。利用本发明方法可以筛选出训练样本中的最优维度，剔除训练样本集中的劣质训练样本，进而从源头上保证并提高了分类精度。

背景技术

支持向量机是上世纪90年代由Vapnik提出的一种全新的机器学习方法。得益于基于结构风险最小化的设计原理，相较之人工神经网络等传统机器学习方法，支持向量机具有更强的泛化能力。并且，支持向量机具有强大的小样本学习能力。因此，支持向量机自诞生起直到今天依然是一个十分热门的研究领域。

支持向量机的原始目的是为了解决数据的分类问题，其关键在于核函数。通过选取合适的核函数，可以将训练样本映射到一个高维空间中。进一步地，通过在此高维空间中找到一个最优分类面，可以最大限度地将训练样本分类开来。所谓最大限度，是指能够保证最大概率地正确分类开来训练样本。从统计学的角度上来说，就是对于总数为N的训练样本，要求支持向量机正确识别的样本数量m尽可能地大，最优情况下m＝N。其中，m/N的值被定义为分类精度。因此，如何提高支持向量机的分类精度，已经成为一个值得深入研究的课题。

目前，已有部分相关文献或专利分别介绍了不同的提高支持向量机分类精确度的方法。其中具有代表性的，如CN101599126A《利用全局互信息加权的支持向量机分类器》提出了一种利用全局互信息相关度来提高分类精度的方法；美国顾永等人(I.Guyon et a1.，Mach.Learn.，Vo1.46，pp.389-422，2002)提出了一种迭代剔除不灵敏区间的支持向量机分类精度方法，进而提高了对肝癌细胞的识别精度。上述专利文献和论文所涉及的提高支持向量机的方法在各自的领域具有一定的代表性。

发明内容

本发明的目的在于提供一种普适性较强的提高二分类支持向量机分类精度的方法，该方法可以保证支持向量机的分类精度。

本发明提供的一种提高二分类支持向量机分类精度的方法，该方法包括下述步骤：

第1步在待分类的样本空间中获取训练样本，每一类样本空间对应一个训练样本集合，每一个训练样本集合中的每一个样本描述为向量形式，设向量的长度为n，即训练样本具有n个维度；每一个训练样本集合具有p个训练样本，两个训练样本集合则有2p个训练样本；

第2步利用训练样本集进行支持向量机训练，当支持向量机训练完毕，获取分类边界权系数向量w，其中w＝[ω₁，ω₂，...，ω_n]，为一个维度为n的向量，其每一个向量分量对应于训练样本的一个维度上的数据；

第3步利用第2步中训练得到的支持向量机对训练样本集中的所有训练样本进行映射，根据映射结果统计出所有被错误识别的训练样本，这些被错误识别的训练样本组成一个错误样本集，该错误样本集被标记为I₁；

第4步按照向量w中的每一个分量的绝对值的大小对向量w中的每一个分量进行排序，向量分量的绝对值越大，其重要性越高；

第5步找出向量w中重要性最小的的分量，剔除掉该最小分量对应的所有训练样本数据中那个维度上的数据，从而使所有训练样本的维度均减少到n-1；

第6步利用第4步中得到的维度为n-1的所有训练样本进行支持向量机训练，即重复第2步至第5步的过程，重复预先设定m次，即得到m个错误样本集，训练样本的维度减少到n-m；

第7步找出m个错误样本集中共同的错误训练样本，并从第6步中获得的所有n-m维训练样本中剔除掉这些错误训练样本；对剩余的训练样本进行支持向量机训练，该支持向量机即为最优支持向量机。

本发明提出一种普适性较强的针对二分类支持向量机分类精度提高的方法。该方法在一定程度上挖掘了输入向量中的最优区间，剔除了输入向量中的不灵敏区间和对分类精度贡献度较小的训练样本，从而在源头上保证了支持向量机的分类精度。并且，该方法实现流程简单，操作方便。

附图说明

图1是本发明实例的实现流程图；

图2是二分类支持向量机对训练样本的分类示意图；

图3是训练样本存储矩阵示意图；

图4是错误分类样本集示意图。

具体实施方式