[发明专利]存在标签噪声情况下的鲁棒训练

说明书

一种用于训练模型(150)的方法(500)包括，获得标记训练样本(112G)的集合，每个标记训练样本(112G)与给定标签(116G)相关联。对于每个标记训练样本，该方法包括，生成伪标签(116P)以及估计指示给定标签的精确度的标记训练样本的权重(132)。该方法还包括，确定标记训练样本的权重是否满足权重阈值(142)。当标记训练样本的权重满足权重阈值时，该方法包括，将标记训练样本添加到干净标记训练样本(112C)的集合。否则，该方法包括，将标记训练样本添加到错误标记训练样本(112M)的集合。该方法包括，使用对应的给定标签的干净标记训练样本的集合和使用对应的伪标签的错误标记训练样本的集合来训练模型。

技术领域

本公开涉及存在标签噪声(label noise)情况下对模型的鲁棒训练(robusttraining)。

背景技术

训练深度神经网络通常需要大规模的标记数据。然而，在实践中获取用于大规模数据集的清洁标签是非常有挑战性和昂贵的，特别是在标记成本高的数据域中，诸如保健。深度神经网络也具有高记忆能力。虽然许多训练技术试图正则化神经网络并且防止噪声标签入侵，但是当噪声标签变得突出时，神经网络不可避免地拟合(fit into)噪声标记的数据。

通常，小的可信训练数据集通常是可获取的。实际的现实设置是基于给定的小可信集以廉价和不可信的方式(例如，众包、网页搜索、廉价标记实践等)来增加训练数据的大小。如果该设置可以显示出明显的益处，则它可以显著改变机器学习实践。然而，为了增加训练数据的大小，许多方法仍然需要大量的可信数据以使得神经网络很好地泛化(generalize)。因此，小可信数据集的朴素使用(naive usage)可能导致快速过拟合(overfitting)，并且最终导致负面影响。

发明内容

本公开的一个方面提供了一种用于存在标签噪声情况下对模型的鲁棒训练的方法。所述方法包括，在数据处理硬件处获得标记训练样本的集合。每个标记训练样本与给定标签相关联。所述方法还包括，在多个训练迭代的每个训练迭代期间，对于所述标记训练样本的集合中的每个标记训练样本，由所述数据处理硬件生成用于所述标记训练样本的伪标签。所述方法还包括，由所述数据处理硬件估计指示所述给定标签的精确度的所述标记训练样本的权重，以及由所述数据处理硬件确定所述标记训练样本的所述权重是否满足权重阈值。所述方法还包括，当所述标记训练样本的所述权重满足所述权重阈值时，由所述数据处理硬件将所述标记训练样本添加到干净标记训练样本的集合。所述方法还包括，当所述标记训练样本的所述权重不满足所述权重阈值时，由所述数据处理硬件将所述标记训练样本添加到错误标记训练样本的集合。所述方法还包括，由所述数据处理硬件使用对应的给定标签的所述干净标记训练样本的集合和使用对应的伪标签的所述错误标记训练样本的集合来训练所述机器学习模型。

本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，生成用于所述标记训练样本的所述伪标签包括，基于所述标记训练样本来生成多个增强训练样本，并且对于每个增强训练样本，使用所述机器学习模型来生成预测标签。该实施方式还包括，对为所述多个增强训练样本中的每个增强训练样本生成的每个预测标签进行平均，以生成用于对应的所述标记训练样本的所述伪标签。

在一些示例中，估计所述标记训练样本的所述权重包括，确定所述标记训练样本的最优权重的在线近似。确定所述标记训练样本的所述最优权重的所述在线近似可以包括，使用随机梯度下降优化。可选地，所述最优权重最小化所述机器学习模型的训练损失。