[发明专利]用于数据的有效使用以用于个性化的系统

权利要求书

1.一种系统，包括：

至少一个处理器；以及

存储指令的存储器，所述指令在由所述至少一个处理器执行时，使所述系统执行一组操作，所述一组操作包括：

针对与日志记录策略相关联的历史数据生成奖励预测器；

确定离策略评估模型，其中所述离策略评估模型包括从由质量不可知估计器和基于质量的估计器组成的组中选择的估计器；

使用所述离策略评估模型来评估目标策略，以确定所述目标策略的预期奖励度量是否高于所述日志记录策略的奖励度量；以及

当确定所述预期奖励度量高于所述日志记录策略的所述奖励度量时，生成使用所述目标策略而不是所述日志记录策略的指示。

2.根据权利要求1所述的系统，其中确定所述离策略评估模型包括：

针对所述质量不可知估计器生成第一均方误差(MSE)度量；

针对所述基于质量的估计器生成第二MSE度量；

当所述第一MSE小于所述第二MSE时，选择所述质量不可知估计器作为所述估计器；以及

当所述第二MSE小于所述第一MSE时，选择所述基于质量的估计器作为所述估计器。

3.根据权利要求1所述的系统，其中所述一组操作还包括：

从用户设备接收上下文的第二指示；

根据所述目标策略，基于接收到的所述上下文来确定动作；以及

响应于所述第一指示，提供所确定的所述动作的第三指示。

4.一种用于基于先前策略来选择新策略的方法，所述方法包括：

访问与所述先前策略相关联的历史数据，所述历史数据包括至少一个上下文、基于所述上下文而确定的动作、以及针对所述动作的奖励；

使用离策略评估模型来评估所述新策略，以确定是否使用所述新策略代替所述先前策略，其中所述离策略评估模型包括直接模型、逆倾向评分、以及从由质量不可知估计器和基于质量的估计器组成的组中选择的估计器的组合；以及

基于确定应使用所述新策略而不是所述先前策略：

根据所述新策略来生成针对上下文的动作；以及

向用户设备提供所述动作的指示。

5.根据权利要求4所述的方法，其中当针对所述新策略的平均奖励度量高于针对先前策略的平均奖励度量时，确定使用所述新策略而不是所述旧策略，并且其中使用所述离策略评估模型来确定针对所述新策略的所述平均奖励度量。

6.根据权利要求4所述的方法，其中所述质量不可知估计器包括阈值，如果重要性权重超过所述阈值，则在所述阈值处剪裁所述重要性权重。

7.一种用于目标策略的离策略评估的方法，所述方法包括：

针对与日志记录策略相关联的历史数据生成奖励预测器；

确定离策略评估模型，其中所述离策略评估模型包括从由质量不可知估计器和基于质量的估计器组成的组中选择的估计器；

使用所述离策略评估模型来评估所述目标策略，以确定所述目标策略的预期奖励度量是否高于所述日志记录策略的奖励度量；以及

当确定所述预期奖励度量高于所述日志记录策略的所述奖励度量时，生成使用所述目标策略而不是所述日志记录策略的指示。

8.根据权利要求7所述的方法，其中所述离策略评估模型包括奖励预测器的直接建模与逆倾向评分的组合，其中所述离策略评估模型中的所述奖励预测器的权重是根据所述估计器而确定的。

9.根据权利要求7所述的方法，其中确定所述离策略评估模型包括生成针对所述估计器的超参数。

10.根据权利要求7所述的方法，其中所述质量不可知估计器包括阈值，如果重要性权重超过所述阈值，则在所述阈值处剪裁所述重要性权重。

11.根据权利要求1所述的系统，其中所述离策略评估模型包括奖励预测器的直接建模与逆倾向评分的组合，并且其中所述离策略评估模型中的所述奖励预测器的权重是根据所述估计器而确定的。