[发明专利]分类器的训练方法及装置、分类装置

说明书

本公开提供了分类器的训练方法及装置、分类装置，涉及计算机技术领域，尤其涉及深度学习领域。具体实现方案为：获取原始不平衡样本集；根据所述原始不平衡样本集和随机噪声生成第一样本集，其中所述第一样本集中包括被标记为正样本的样本和被标记为负样本的样本；从所述第一样本集中剔除不符合预设条件的样本得到目标样本集；以所述原始不平衡样本集和所述目标样本集的合集为训练数据集，对目标分类器进行训练，其中，所述目标分类器用于完成对待分类不平衡样本集的分类。

技术领域

本公开涉及计算机技术领域，尤其涉及深度学习领域。

背景技术

机器学习中经常会遇到数据的类别不均衡的问题，也叫数据偏斜。数据偏斜在众多的实际应用场景下都会发生，例如疾病检测、信用卡诈欺侦测、网络入侵检测等。数据偏斜对于机器学习的算法结果会产生非常差的影响，会让算法本身更加偏向于数据量较多的标签，而对于数据量小的标签表现很差。针对数据偏斜问题，相关技术中常采用随机重采样的方法，来平衡多类样本的数量，具体通过欠采样方法在训练过程中随机从多数类中去除样本，以减少多数类的样本数量以及过采样方法在原始数据集中随机选取少数类样本，并对所选样本进行复制，以增加少数类样本的数量。亦或是通过降低高置信度类别的重要性而提高低置信度类别的重要性。除此之外，数据增强也可以用来解决数据偏斜的问题。如以线性差值为原理的合成少类样本技术(Synthetic Minority Oversampling Technique，SMOTE)算法可以在小类别样本下产生新的数据。

发明内容

本公开提供了一种用于分类器训练的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种分类器的训练方法，包括：获取原始不平衡样本集；根据原始不平衡样本集和随机噪声生成第一样本集，其中第一样本集中包括被标记为正样本的样本和被标记为负样本的样本；从第一样本集中剔除不符合预设条件的样本得到目标样本集；以原始不平衡样本集和目标样本集的合集为训练数据集，对目标分类器进行训练，其中，目标分类器用于完成对待分类不平衡样本集的分类。

可选地，从第一样本集中剔除不符合预设条件的样本得到目标样本集，包括：利用第一鉴别器从第一样本集中随机剔除负样本，得到第二样本集，第一样本集中的所有被标记为负样本的样本被剔除的概率均为设定概率；利用第二鉴别器从第二样本集中剔除被第二鉴别器鉴别为负样本的样本，得到目标样本集。

可选地，利用第二鉴别器从第二样本集中剔除被第二鉴别器鉴别为负样本的样本，得到目标样本集，包括：获取第二鉴别器中的多个预先确定的第一分类器对第一样本集中的样本的标记；将第二样本集中被目标数量第一分类器标记为负样本的样本确定为被第二鉴别器鉴别为负样本的样本；剔除被第二鉴别器鉴别为负样本的样本，得到目标样本集。

可选地，上述方法还包括：调整待分类不平衡样本集中第一类样本和第二类样本的损失权重使第一类样本的损失权重小于第二类样本的损失权重；利用调整后的损失权重对待分类不平衡样本集进行分类。

可选地，根据原始不平衡样本集和随机噪声生成第一样本集，包括：根据原始不平衡样本集和随机噪声生成候选样本集；对候选样本集中的样本进行标记，得到第一样本集，其中，标记包括：标记为正样本和标记为负样本。

可选地，根据原始不平衡样本集和随机噪声生成候选样本集，包括：利用预先构建的高斯混合模型对原始样本集进行归一化处理；将进行归一化处理后的原始不平衡样本集和高斯混合模型随机生成的噪声结合生成候选样本集。

可选地，对候选样本集中的样本进行标记，得到第一样本集，包括：根据候选样本集和原始不平衡样本集的二元交叉熵损失和样本间距对候选样本集进行标注，将标注后的候选样本集确定为第一样本集。