[发明专利]基于置信学习与标签平滑的噪声数据处理方法与系统

说明书

本发明提出一种基于置信学习与标签平滑的噪声数据处理方法与系统，该方法包括：对带有噪声标签的原始训练数据集合，经标签平滑正则化处理后得到的文本样本输入至文本分类的教师模型，将经过迭代计算收敛后的模型作为训练好的教师模型；利用训练好的教师模型，通过置信学习的方式对带有噪声标签的原始训练数据集合进行噪声数据的筛选，并将原始训练数据集合划分为第一训练集合以及噪声训练集合；将第一训练集合以及噪声训练集合输入至学生模型，通过标签平滑正则化方法对学生模型进行训练，以最终得到训练好的学生模型。本发明可减小学生模型对噪声数据的拟合程度，从而提高训练好的学生模型的分类性能。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于置信学习与标签平滑的噪声数据处理方法与系统。

背景技术

在计算机领域的监督学习中，训练数据的质量对模型的学习效果至关重要。高性能的深度神经网络分类模型依赖大量高质量标记的训练数据，而训练数据的质量非常依赖人工的标注。标注的质量越高，标注的难度也就越大。因此，大型数据集总是包含错误的标签。例如，在文本分类的任务中，训练数据中某些“军事”类的文本被错误地标记为“历史”类。其中，过高比例的噪声数据会在模型的迭代过程中使模型收敛于错误知识，降低模型的分类效果。而噪声普遍存在文本分类和语音识别等分类任务的大型数据集中，因此，有必要面向噪声数据设计基于深度学习的分类算法。

为发现数据集中的噪声，以往诸多研究和应用采用置信学习的方式，以计算各个样本标签的不确定性。此类方法一般将识别出的噪声标签剔除出训练集或者重新修改样本的权重。具体的，现有的分类技术一般通过人工检查和置信学习两种方式处理噪声数据。（1）、人工检查根据对数据和业务的理解，手工对数据进行筛选清洗。当面对大型数据集时，采用人工检查的方式耗时费力，效率过低。（2）、以往基于置信学习的噪声数据分类技术主要通过剔除噪声数据或者调整噪声样本的损失。这些技术往往直接在噪声数据上训练一个分类模型，然后根据模型关于样本的预测值，剔除预测与标记不一致的样本，或者调整相关样本的权重。

然而，上述技术存在的缺点在于：直接在原始的噪声数据上训练的模型分类效果较差，利用较差的分类模型无法有效剔除噪声数据或者合理调整相关噪声样本的权重。此外，某些任务的数据较难获取，直接剔除稀有类别（样本占比较小的类别）的数据易导致数据关于类别的分布更加不平衡，进而降低最终的分类效果。

基于此，有必要提出一种新型的噪声数据处理方法，以提高分类算法对噪声的鲁棒性。

发明内容

鉴于上述状况，有必要解决现有技术中，直接在原始的噪声数据上训练的模型分类效果较差，利用较差的分类模型无法有效剔除噪声数据或者合理调整相关噪声样本的权重的问题。

本发明实施例提供一种基于置信学习与标签平滑的噪声数据处理方法，其中，所述方法包括：

步骤一：对带有噪声标签的原始训练数据集合，经标签平滑正则化处理后得到的文本样本输入至文本分类的教师模型，将经过迭代计算收敛后的模型作为训练好的教师模型；

步骤二：利用训练好的教师模型，通过置信学习的方式对所述带有噪声标签的原始训练数据集合进行噪声数据的筛选，并将原始训练数据集合划分为第一训练集合以及噪声训练集合；

步骤三：将所述第一训练集合以及所述噪声训练集合输入至学生模型，通过标签平滑正则化方法对学生模型进行训练，以最终得到训练好的学生模型。

本发明提出的基于置信学习与标签平滑的噪声数据处理方法，首先对对带有噪声标签的原始训练数据集合，经标签平滑正则化处理后得到的文本样本输入至文本分类的教师模型，经迭代收敛后得到训练好的教师模型；利用训练好的教师模型，通过置信学习的方式对带有噪声标签的原始训练数据集合进行噪声数据的筛选，并将原始训练数据集合划分为第一训练集合以及噪声训练集合；最后输入至学生模型，结合标签平滑正则化方法对多分类交叉熵损失函数进行迭代收敛得到训练好的学生模型。