[发明专利]基于非零均值漂移参数并行识别噪声样本的方法

说明书

本发明提供一种基于非零均值漂移参数并行识别噪声样本的方法，利用含有非零均值漂移参数的线性回归模型对训练数据集中样本的特征矩阵以及标签矩阵进行拟合，并求解对应的非零均值漂移参数的解路径，并基于解路径选取识别出噪声样本，因此，本发明的方法能够在含噪学习中并行识别出多个噪声样本，并将噪声样本剔除出训练数据集，降低训练数据集中的噪声样本的比例，从而达到帮助模型训练，提升模型的性能的效果。本发明的方法由于同时基于特征空间以及标签空间，因此，相较于仅基于特征空间或仅基于标签空间的现有识别方法，识别准确度更高。此外，本发明的方法还具有较好的鲁棒性和算法泛用性。

技术领域

本发明属于含噪学习技术领域，具体涉及一种基于非零均值漂移参数并行识别噪声样本的方法。

背景技术

在机器学习中，含噪学习旨在设计特定的算法提升通过含有标签噪声的训练数据进行训练得到的模型的性能。其中，标签噪声是指在数据标注过程中由于种种原因导致的标注错误。现有含噪学习技术的重点在于通过特定算法识别噪声数据，降低训练数据的含噪比例，从而获得更加干净的训练数据。网络通过在经过算法挑选的干净训练数据上进行训练后，能够进一步的提升性能和识别噪声数据的能力。迭代式的进行数据挑选和模型训练，最终能够提升模型性能。

现有技术中，识别噪声样本的识别算法大致可分为两类，一类从特征空间出发，寻找与其他样本的特征分布差异较大的数据；另一类从标签空间出发，寻找在训练过程中损失函数值较大的数据。常见的噪声数据识别原则包括：训练损失大、预测不一致、特征表示不规则等。然而，现有的识别算法普遍存在识别准确率不高、遗漏噪声的可能性较大的问题。

发明内容

为解决上述问题，提供一种识别准确率更高的基于非零均值漂移参数并行识别噪声样本的方法，与现有的从特征空间出发或从标签空间出发等单空间的噪声数据识别算法不同，本发明的方法基于特征空间与标签空间的线性关系，本发明采用了如下技术方案：

本发明提供了一种基于非零均值漂移参数并行识别噪声样本的方法，用于从含有多个样本的训练数据集中移除含有标签噪声的所述样本，将含有标签噪声的所述样本记作噪声样本，将其余的所述样本记作非噪声样本，其特征在于，包括：

步骤S1，利用所述训练数据集对神经网络模型进行训练，并在训练过程中保存所有所述样本被所述神经网络模型提取的特征向量；

步骤S2，利用所述训练数据集中被识别为所述非噪声样本的所述特征向量计算每个类别的特征原型；

步骤S3，利用每个所述类别的所述特征原型计算所述类别之间的相似度，并根据所述相似度将所有所述类别划分为多个类别组，其中，每个所述类别组内的所述类别之间的所述相似度之和最小；

步骤S4，将每个所述类别组内的所述样本划分为多个批次，以重采样的方式保证每个所述样本至少在一个所述批次中出现；

步骤S5，对每个所述批次，利用含有非零均值漂移参数的线性回归模型拟合该批次的特征矩阵以及标签矩阵，并求解对应的均值漂移参数的解路径，其中，所述含有非零均值漂移参数的线性回归模型的公式如下：

Y＝Xβ+γ+ε,

式中，β为所述线性回归模型的回归系数，γ为均值漂移参数，ε为随机的高斯噪声，X为特征矩阵，Y为标签矩阵；

步骤S6，基于步骤S5求解的所述解路径，对每个所述批次选取部分所述样本作为识别出的所述噪声样本，将所有所述批次识别出的所述噪声样本和所述非噪声样本合并形成新的训练数据集；

步骤S7，判断所述神经网络模型是否收敛，当判断为是时完成所述神经网络模型的训练，当判断为否时重复步骤S1-S6。

本发明提供的基于非零均值漂移参数并行识别噪声样本的方法，还可以具有这样的技术特征，其中，步骤S2中，计算所述非噪声样本的特征均值作为所述类别的所述特征原型，即：