[发明专利]使用强化学习的数据评估

权利要求书

1.一种用于评估训练样本(102)的方法(500)，其特征在于，所述方法(500)包括：

在数据处理硬件(12)处获得训练样本(102)的集合；以及

在多个训练迭代的每个训练迭代期间：

由所述数据处理硬件(12)从所述训练样本(102)的集合中采样训练样本(102)的批次；

对于所述训练样本(102)的批次中的每个训练样本(102)，由所述数据处理硬件(12)使用数据值估计器(120)基于所述数据值估计器(120)的估计器参数值(122)来确定所述训练样本(102)的选择概率(106)；

由所述数据处理硬件(12)基于每个训练样本(102)的所述选择概率(106)从所述训练样本(102)的批次中选择训练样本(102)的子集；

由所述数据处理硬件(12)使用具有所述训练样本(102)的子集的预测器模型(142)来确定性能测量(144)；

由所述数据处理硬件(12)基于所述性能测量(144)来调整所述预测器模型(142)的模型参数值(143)；以及

由所述数据处理硬件(12)基于所述性能测量(144)来更新所述数据值估计器(120)的所述估计器参数值(122)。

2.根据权利要求1所述的方法(500)，其特征在于，使用所述预测器模型(142)来确定所述性能测量(144)包括，由损失函数来确定损失数据(144)。

3.根据权利要求2所述的方法(500)，其特征在于，基于所述性能测量(144)来调整所述预测器模型(142)的所述模型参数值(143)包括，基于所述损失数据(144)来调整所述预测器模型(142)的所述模型参数值(143)。

4.根据权利要求2或3所述的方法(500)，其特征在于，基于所述性能测量(144)来更新所述数据值估计器(120)的所述估计器参数值(122)包括：

根据所述损失数据(144)来确定增强信号(260)；以及

基于所述增强信号(260)来更新所述数据值估计器(120)的估计器参数值(122)。

5.根据权利要求4所述的方法(500)，其特征在于，基于所述增强信号(260)来更新所述数据值估计器(120)的所述估计器参数值(122)进一步包括：

基于所述损失数据(144)来确定奖励值(230)；以及

基于所述奖励值(230)来更新所述数据值估计器(120)的所述估计器参数值(122)。

6.根据权利要求5所述的方法(500)，其特征在于，基于所述损失数据(144)来确定所述奖励值(230)包括：

基于所述预测器模型(142)的最近N个训练迭代来确定损失数据的移动平均；

确定最近训练迭代的所述损失数据(144)与所述损失数据的移动平均之间的差；以及

基于所述最近训练迭代的所述损失数据(144)与所述损失数据的移动平均之间的所述差来确定所述奖励值(230)。

7.根据权利要求1-6中任一项所述的方法(500)，其特征在于，所述数据值估计器(120)包括神经网络，并且更新所述数据值估计器(120)的估计器参数值(122)包括更新所述数据值估计器(120)的所述神经网络的层参数值。

8.根据权利要求1-7中任一项所述的方法(500)，其特征在于，基于每个训练样本(102)的所述选择概率(106)从所述训练样本(102)的批次中选择所述训练样本(102)的子集包括，对于所述训练样本(102)的批次中的每个训练样本(102)：

确定指示选择(310)或不选择(320)的对应的选择值(132)；

当所述对应的选择值(132)指示选择(310)时，将所述训练样本(102)添加到所述训练样本(102)的子集中；以及

当所述对应的选择值(132)指示不选择(320)时，丢弃所述训练样本(102)。