[发明专利]基于熵和置信度的不平衡数据欠采样方法

说明书

本发明公开了基于熵和置信度的不平衡数据欠采样方法，包括以下步骤，S1：定义不平衡数据集为X，其中包含N_n个多数样本X_n和N_p个少数样本X_p；S2：计算每个多数样本的熵S3：利用多数样本和少数样本，基于RUS训练第一个随机森林分类器f₀(x)；S4：基于置信度和熵，计算经过步骤S3训练后的集合中多数样本的最终秩Rank_i；S5：用所有少数样本X_p和具有最低秩的多数样本训练下一个随机森林分类器；S6：重复步骤S4和步骤S5，直到f_l(x)中的l大于L，式中，l表示从一开始到现在累积的迭代次数，L为集合迭代次数。本发明将动态重采样方法与Boosting集成在一起，能解决边界过拟合问题，提高泛化性能，在ECUBoost中使用了置信度和熵作为基准，能保证欠采样过程中大多数样本的有效性和结构分布。

技术领域

本发明涉及大数据处理技术领域，尤其涉及基于熵和置信度的不平衡数据欠采样方法。

背景技术

不平衡问题在大数据时代已经愈发常见了，例如访问安全问题、电子邮件过滤等。由于不平衡的样本可能会阻碍分类器学习正确的分布，因此不平衡问题给传统的分类方法带来了严峻的挑战。

尽管传统的集成方法不能处理不平衡问题，但是学者们提出了一系列基于重采样的集成方法，一般分为静态重采样方法和动态重采样两类。静态重采样方法在训练前进行重采样，并且独立于后续的分类器，因此，静态重采样方法更加灵活，能够适应大多数分类器。基本静态重采样方法随机选择少数或多数样本，以生成后续训练步骤的平衡子集；基于聚类的欠采样方法(USBC)旨在通过首先聚类主类，然后从每个聚类中选择样本，来呈现欠采样后多数样本的分布信息。Adaboost根据前一个基分类器的性能来调整样本分布的权重，以便将额外的权重添加到先前错误分类的样本中。属于这一类的经典方法包括RUSAdaboost(RUSBoost)、SMOTE Adaboost和进化欠采样Adaboost。但静态重采样容易丢失重要信息，泛化性能较差，并且重采样后丢失重要信息的风险很高。

与静态方法不同，动态方法与训练过程相结合，可以保存更多信息量的样本。Ertekin等人提出的基于Svm的主动学习算法(LASVM-AL)，根据Svm的决策边界迭代选择有价值的样本。张成刚等人提出了一种基于非传播神经网络的单侧动态欠采样(ODU)方法来解决不平衡问题，将距离函数绝对值较小的临界多数样本视为信息量训练数据。动态采样方法帮助分类器从主类中获取更多有用的信息，从而获得比静态类更好的性能。然而，上述方法都对边界样本敏感，可能会丢失大多数样本的全局分布，从而导致边界过度拟合。另外，动态重采样方法对使用的分类器依赖性很强，这使得它们很难在不经过迭代的情况下适应优化后的分类器。考虑上述不平衡任务的集成和重采样思想，归纳出现有方法存在的三个主要问题。(1)动态重采样方法的边界过拟合问题，泛化性能差；(2)在集成学习中无法同时保留结构分布和重要样本信息；(3)将动态重采样方法的思想很难扩展到决策树等更高层次的系统中。

发明内容

针对上述存在的问题，本发明旨在提供一种基于熵和置信度的不平衡数据欠采样方法，将动态重采样方法与Boosting集成在一起，能解决边界过拟合问题，提高泛化性能，然后在Ecuboost中使用了置信度和熵作为基准，能保证欠采样过程中大多数样本的有效性和结构分布。

为了实现上述目的，本发明所采用的技术方案如下：

基于熵和置信度的不平衡数据欠采样方法，其特征在于，包括以下步骤，

S1：定义不平衡数据集为X，其中包含N_n个多数样本X_n和N_p个少数样本X_p；

S2：计算每个多数样本的熵

S3：利用多数样本和少数样本，基于RUS训练第一个随机森林分类器f₀(x)；