[发明专利]一种基于Adaboost和欠采样的不平衡学习方法

摘要

本发明涉及一种基于Adaboost和欠采样的不平衡学习方法，通过改进Adaboost算法捕捉数据分布动态变化，并基于Adaboost的集成学习为同一训练集训练不同的弱分类器，然后组装这些弱分类器以形成强大的最终分类器，采样还原度高的不平衡学习方法，来缓解不平衡带来的分类问题。有效提高了少数类的分类精度，具有实际社会、经济、技术价值。

主权项

1.一种基于Adaboost和欠采样的不平衡学习方法，其特征在于包括如下步骤：S1.获取二分类问题的原始数据；S2.对原始数据按策略给多数类和少数类样本分配权重Wi：Smaj表示多数类，Smin表示少数类，R的取值为大于2的自然数。S3.并将步骤S2得到数据输入Adaboost第一个分类器进行学习；所述的分类器采取为CART决策树；S4.对步骤S3中的学习结果，根据多数类样本的权重，对多数类进行聚类并欠采样，将欠采样到的多数类和少数类一起输入到下一个分类器进行学习：S4.1.对多数类进行聚类:S4.1.1.初始化簇的集合C＝{C1}，C1为所有多数类样本；设置集合C的最大可包含的簇的数目为M；S4.1.2.首先判断集合C的大小是否小于M：a.如果集合C的大小小于M，按照权重大小将集合C中的簇进行排序，然后按照权重大小值遍历每一个簇，找到一个权重值使得scv最小，如果scvb.如果集合C的大小不小于M，找到cv值最大和第二大的两个簇，然后合并；将合并的簇执行上述步骤a的操作；S4.2.对多数类进行聚类采样：S4.2.1.计算集合C中每个簇的wc值：wc值用来衡量簇的重要性，即越大的wc值表明这个簇的内的样本更能够代表整个样本空间的分布。S4.2.2.计算所有簇的wc值加和WC，以及每个簇应该被采样的样本数目所有簇的wc值加和得到WC；每个簇的wc值除以WC，得到采样比例，然后乘以少数类样本总数，从而得到每个簇应该被采样的样本数目S4.2.3.根据采样数目，对每个簇内的样本按照权重大小进行降序排序，然后获取每个簇中位于之前的样本，和少数类样本组合在一起输入下一个分类器进行学习；S5.迭代执行步骤S4，直到学习效果收敛，得到一个Adaboost分类器；S6.重复执行步骤S2‑S5，然后将得到的R‑2个Adaboost分类器进行bagging投票得到最终的分类器，投票策略为：R是S2.中权重初始化分配的参数，aucr表示根据公式1权重初始化分配为r的Adaboost学习得到的auc值，越大表示学习效果越好，probr表示样本被预测的概率。