[发明专利]基于置信学习与标签平滑的噪声数据处理方法与系统

权利要求书

1.一种基于置信学习与标签平滑的噪声数据处理方法，其特征在于，所述方法包括：

步骤一：对带有噪声标签的原始训练数据集合，经标签平滑正则化处理后得到的文本样本输入至文本分类的教师模型，将经过迭代计算收敛后的模型作为训练好的教师模型；

步骤二：利用训练好的教师模型，通过置信学习的方式对所述带有噪声标签的原始训练数据集合进行噪声数据的筛选，并将原始训练数据集合划分为第一训练集合以及噪声训练集合；

步骤三：将所述第一训练集合以及所述噪声训练集合输入至学生模型，通过标签平滑正则化方法对学生模型进行训练，以最终得到训练好的学生模型；

在所述步骤一中，所述原始训练数据集合表示为：

其中，表示原始训练数据集合中的样本数量，表示原始训练数据集中第个文本，是文本的类别标签，，，m是互斥的文本类别标签的数量，R为实数，d表示特征的维度，表示文本的特征属于d维的实数空间，表示样本标签所属的m维的实数空间；

原始训练数据集合中属于类别的文本的类别标签经过标签平滑正则化后可得：

其中，是平滑后的类别标签的第个元素，为超参数；

在所述步骤一中，进行迭代计算的方法包括如下步骤：

通过基于交叉熵的多类别分类损失进行迭代计算，将收敛后的模型作为训练好的教师模型；

其中，在教师模型中，基于交叉熵的多类别分类损失表示为：

其中，为教师模型中基于交叉熵的多类别分类损失，表示教师模型的参数关于文本属于类别的预测概率，表示任意一个文本对应的类别标签。

2.根据权利要求1所述的一种基于置信学习与标签平滑的噪声数据处理方法，其特征在于，在所述步骤二中，对所述带有噪声标签的原始训练数据集合进行噪声数据的筛选的步骤中，需要对属于类别的文本对应的类别标签的标注正确与否进行判定，具体包括如下步骤：

若属于类别的文本在原始训练数据集合中的类别标签为，且对所述训练好的教师模型关于类别的预测概率大于预设概率阈值，则判定文本在原始训练数据集合中的类别标签为错误标签，即文本为噪声样本；

其中，属于类别的文本对所述训练好的教师模型关于类别的预测概率表示为；

所述预设概率阈值表示为：

其中，为所述预设概率阈值，表示第类文本对应的数据集中文本的数量。

3.根据权利要求2所述的一种基于置信学习与标签平滑的噪声数据处理方法，其特征在于，在所述步骤二中，在所述噪声训练集合中，第类噪声样本的初始数量表示为：

其中，表示混淆矩阵中类别标签标记为第类，真实类别标签为的样本数量，表示真实类别标签，表示教师模型的参数关于文本属于类别的预测概率，表示教师模型的参数关于文本属于类别的预测概率。

4.根据权利要求3所述的一种基于置信学习与标签平滑的噪声数据处理方法，其特征在于，在所述步骤二中，第类噪声样本对应的最终噪声样本数量表示为：

其中，为各类别的训练样本数量相关的权重，为超参数，为第类噪声样本的初始数量，为第类噪声样本的初始数量，为第类噪声样本的初始数量。

5.根据权利要求4所述的一种基于置信学习与标签平滑的噪声数据处理方法，其特征在于，所述第一训练集合表示为，所述噪声训练集合表示为，对学生模型进行训练的方法包括如下步骤：

通过对学生模型在原始训练数据集合上的多分类交叉熵损失函数进行迭代，直至收敛得到训练好的学生模型。