[发明专利]使用强化学习的数据评估

说明书

一种方法(500)包括，获得训练样本(102)的集合。在多个训练迭代的每个训练迭代期间，该方法包括，从训练样本的集合中采样训练样本的批次。该方法包括，对于每个训练样本，使用数据值估计器(120)来确定选择概率(106)。训练样本的选择概率是基于数据值估计器的估计器参数值(122)。该方法还包括，基于每个训练样本的选择概率从训练样本的批次中选择训练样本的子集，以及使用具有训练样本的子集的预测器模型(142)来确定性能测量(144)。该方法还包括，基于性能测量来调整预测器模型的模型参数值(143)，以及基于性能测量来更新数据值估计器的估计器参数值。

技术领域

本公开涉及使用强化学习(reinforcement learning)的数据评估(datavaluation)。

背景技术

机器学习模型接收输入，并且基于接收的输入而生成输出，例如，预测输出。机器学习模型是根据数据进行训练的。然而，量化数据的值是机器学习中的基本问题。当根据大规模和高质量的数据集进行训练时，机器学习模型通常得到改善。然而，收集这样的大规模和高质量的数据集可能是昂贵和有挑战性的。此外，还存在确定大规模数据集中的样本的额外复杂性，该样本对于训练和标记是最有用的。真实世界训练数据集通常包含不正确的标签，或者输入样本在相关度、样本质量或对目标任务的有用性方面不同。

精确地量化数据的值改善了训练数据集的模型性能。代替同等地处理所有数据样本，当数据的值低时，可以为数据分配较低的优先级，以获得较高性能的模型。通常，量化数据评估性能需要单独地移除样本以计算性能损失，然后将该损失分配为该样本的数据。然而，这些方法与训练样本的数量成线性比例关系，使得对于大规模数据集和复杂模型来说成本过高。除了建立关于问题的洞察力之外，数据评估还具有不同的用例，诸如在域适应、损坏样本发现和鲁棒学习中。

发明内容

本公开的一个方面提供了一种用于评估训练样本的方法。所述方法包括，在数据处理硬件处获得训练样本的集合。在多个训练迭代的每个训练迭代期间，所述方法还包括，由所述数据处理硬件从所述训练样本的集合中采样训练样本的批次。所述方法包括，对于所述训练样本的批次中的每个训练样本，由所述数据处理硬件使用数据值估计器来确定选择概率。所述训练样本的所述选择概率是基于所述数据值估计器的估计器参数值。所述方法还包括，由所述数据处理硬件基于每个训练样本的所述选择概率从所述训练样本的批次中选择训练样本的子集，以及由所述数据处理硬件使用具有所述训练样本的子集的预测器模型来确定性能测量。所述方法还包括，由所述数据处理硬件基于所述性能测量来调整所述预测器模型的模型参数值，以及由所述数据处理硬件基于所述性能测量来更新所述数据值估计器的所述估计器参数值。

本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，使用所述预测器模型来确定所述性能测量包括，由损失函数来确定损失数据。在这些实施方式中，基于所述性能测量来调整所述预测器模型的所述模型参数值包括，基于所述损失数据来调整所述预测器模型的所述模型参数值。另外，在一些实施方式中，基于所述性能测量来更新所述数据值估计器的所述估计器参数值包括，根据所述损失数据来确定增强信号，以及基于所述增强信号来更新所述数据值估计器的估计器参数值。基于所述增强信号来更新所述数据值估计器的所述估计器参数值进一步包括，基于所述损失数据来确定奖励值，以及基于所述奖励值来更新所述数据值估计器的所述估计器参数值。在这些实施方式中，基于所述损失数据来确定所述奖励值包括，基于所述预测器模型的最近N个训练迭代来确定损失数据的移动平均，确定最近训练迭代的所述损失数据与所述损失数据的移动平均之间的差，以及基于所述最近训练迭代的所述损失数据与所述损失数据的移动平均之间的所述差来确定所述奖励值。