[发明专利]基于混合框架的不均衡分类方法、系统、设备和存储介质

说明书

本申请涉及一种基于混合框架的不均衡分类方法、系统、设备和存储介质。该方法通过不均衡网络异常检测数据集用于验证我们的混合重采样的集成模型。通过提出了重采样方法的组合以减少多数类的数量，从而加快处理速度。并在数据级别处理不均衡数据集，并使用重采样技术将数据集转换为均衡分布。通过建立了一个包含12个不同分类器的集成模型，与以前工作中的5个分类器相比，它们提供了更多的选择。通过使用集成模型对经过上述处理后获得的略微均衡的数据进行分类，因此，通过提出欠采样和过采样的新颖组合，以均衡不同数据类别之间的不均衡性，并以较少的内存开销加快处理速度。

技术领域

本申请涉及数据处理领域，特别是涉及一种基于混合框架的不均衡分类方法、系统、设备和存储介质。

背景技术

在当前的大数据时代，数据挖掘和分析在有效决策中占据了越来越重要的地位。在各种数据挖掘技术中，分类分析是应用最广泛的技术之一，可应用于各种业务和工程问题，例如癌症预测，流失预测，欺骗检测，人脸检测，欺诈检测等。分类分析是一种有监督的分类器学习问题，用于预测变量，该变量由数量有限的类别组成。通常情况下，分类器学习方法旨在与合理均衡的数据集一起使用。但是，在许多实际情况下，数据集往往是不均衡的。

目前，有两种主流的方法来解决不均衡分类问题：过采样可随机生成现有项目的多个副本以扩展少数类，欠采样可随机选择现有项目的子集以缩小多数类的规模。但是，我们认为，仅仅使用过采样或欠采样策略可能不足以适当缓解数据集的不均衡问题。首先，如果仅使用过采样方法来增加少数类别的数量，那么就时间消耗和训练成本而言，扩展少数类别以使其具有与多数类别相同的数据量是不切实际的。其次，如果仅使用欠采样方法缩小多数类别的规模，则数据集的大量减少可能会导致训练结果不足。生成的模型可能无法区分测试数据集中的这些类。最后，确实有一些工作提到了混合采样方法，但是对这种方法并没有明确的描述。因此，社会需要一种混合采样方法，将过采样和欠采样策略结合起来。

数据分类是网络和分布式系统领域中常用的数据处理方法，近年来引起了广泛的关注。然而，现有的分类算法主要针对相对均衡的数据集，但现实中的数据通常表现出不均衡的特征。

发明内容

基于此，有必要针对上述技术问题，提供一种基于混合框架的不均衡分类方法、系统、设备和存储介质。

第一方面，本发明实施例提供了一种基于混合框架的不均衡分类方法，包括以下步骤：

获取包含有多数类别的训练数据集D_majority和少数类别的训练数据集D_minority的给定初始数据集D；

通过随机欠采样方法来消除初始数据集D中多数类别的数据样本，并生成一个新的多数类别据集，采用D_{majority_reduced}数据集表示减少后的子集；

通过随机过采样方法来增加初始数据集D中少数类别的数据样本，并生成一个新的少数类别据集，采用D_{minority_increased}数据集表示增加后的子集；

将D_{majority_reduced}数据集与D_{majority_reduced}数据集相结合生成新的混合数据集D'，将混合数据集D'通过12个分类器训练集成模型，获取初始数据集的分类结果。

进一步的，所述通过随机欠采样方法来消除初始数据集D中多数类别的数据样本，并生成一个新的多数类别据集，采用D_{majority_reduced}数据集表示减少后的子集，包括，

通过随机欠采样从多数类数据集中进行样本选择，并通过预设的类别分布阈值确定样本类别选择的比例；

根据减少多数类别数据集的数量，用较少的内存实现相对快速的数据分类处理过程；