[发明专利]一种基于带噪音标签数据的渐进性集成分类方法

说明书

技术领域

本发明属于计算机机器学习领域，特别涉及一种基于带噪音标签数据的渐进性集成分类方法。

背景技术

集成学习，作为机器学习的一个重要分支，应用于数据挖掘、智能交通系统、生物信息学、模式识别等领域，获得了越来越多研究者的关注。相对于单一分类器，集成学习方法可以集成不同情况下的多个分类器，成为一个统一的分类器。这类集成分类器具有稳定性、鲁棒性和高准确率的特点。总而言之，集成分类器由于出色的表现，已经成功地运用在不用的领域中。

但是，传统的集成学习方法主要是把样本维和属性维分开来进行研究，并没有对其进行整体的研究。例如，Bagging算法只对样本维进行研究，而random subspace算法只对属性维进行研究。这种只考虑样本维度或者只考虑属性维度的方法，不足以构建一个强大的集成分类器，并对带噪音的样本进行处理。例如，在某些数据集中，具有特征的样式存在某些属性维中，但对于其他数据集，同样的特征样式不能起到相同的效果。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于带噪音标签数据的渐进性集成分类方法，在带噪音标签的数据集中，同时对样本维度和属性维度进行研究，能够获得较好的分类效果。

一种基于带噪音标签数据的渐进性集成分类方法，包括以下步骤：

S1、输入训练样本和测试样本；

S2、使用bootstrap方法进行样本维采样，得到B个bootstrap分支；

S3、使用LDA线性判别分析方法对B个bootstrap分支训练分类器，生成各自的分类器；

S4、新建一个集成分类器集合Γ(P)，初始化为空，从步骤S3生成的分类器中选择第一个分类器加入到Γ(P)中；

S5、渐进式分类器选择：在剩下的分类器中逐步选取后续的优秀的分类器作为分支加入到Γ(P)中；直到选取的分支数目达到预先设定的集成分类器集合的分支数目G，停止选择；同时输出选择好的集成分类器集合及各分类器分支对应的权重；

S6、利用集成分类器集合及各分类器分支对应的权重对测试样本进行分类，得出最后的预测结果。

优选的，步骤S1的具体步骤是：输入一个待分类的带噪音标签的数据集，使用5倍交叉验证来进行实验，具体的：

第一次实验：第1份作为测试数据集P_e，剩下4份作为训练数据集P_r；训练数据集P_r＝{(p₁,y₁),(p₂,y₂),…,(p_l,y_l)}，l为训练样本数目，p_i(i∈{1,…,l})为训练样本，y_i为样本标签，同时每个p_i有d个属性维；

第二次实验：第2份作为测试数据集P_e，剩下4份作为训练数据集P_r；

以此类推，共进行5次实验。

优选的，步骤S2中，使用bootstrap方法对训练数据集P_r进行样本维采样：

使用有放回的采样，其中采样率为有

τ₁∈[0,1]为统一化随机变量；根据训练样本p_i下标来进行随机的一个一个样本抽取，具体的采样下标为：

其中的m为挑选出来的样本的下标，τ₂∈[0,1]为统一化随机变量；每次实验中，在一个采样率下，挑选B次，B次中每次挑选个训练样本，就得到B个训练样本集，即生成B个bootstrap分支

优选的，步骤3训练分类器的具体步骤是；把每个bootstrap分支单独作为一个训练集，使用LDA算法，生成各自的分类器LDA的目标函数如下：

Ξ^b表示目标函数；K表示标签的数目总和；Λ(k|p^b)表示在bootstrap分支O^b中的样本p^b的标签k的先验概率函数；Υ(y^b|k)为样本分类结果的损失函数，其中k为真实标签，y^b为预测标签，并当样本被正确分类时，有Υ(y^b|k)＝0，否则Υ(y^b|k)＝1；

其中的Λ(k|p^b)的计算方式为：