[发明专利]用于数据的有效使用以用于个性化的系统

说明书

使用基于先前“日志记录”策略而收集的历史数据来执行新“目标”策略的离策略评估，以估计该目标策略的性能。可以使用估计器，其中基于质量的估计器或质量不可知估计器被用于对历史数据中的观察到的奖励与由目标策略生成的估计出的奖励之间的差异进行加权。质量不可知估计器可以用于根据阈值来评估重要性权重。在这样的示例中，当重要性权重超过阈值时，质量不可知估计器在阈值处剪裁重要性权重，从而提供与奖励预测器的质量无关的固定上限。在其他示例中，使用了基于质量的估计器，其中上限结合了奖励预测器的质量，以便修改由估计器使用的重要性权重。

背景技术

在使用contextual bandit协议的应用中，日志记录策略被用于基于给定的上下文来采取行动，从而获取奖励。在一些实例中，基于平均奖励度量来评估日志记录策略。然而，在没有昂贵的A/B测试和大型数据集的情况下，生成实现相似或经改进的平均奖励度量的经更新或新的策略(“目标策略”)是很困难的。

本文中所公开的方面是针对这些和其他一般考虑做出的。此外，尽管可以讨论相对具体的问题，但是应了解的是，示例不应限于解决背景技术中或本公开的其他地方所标识的具体问题。

发明内容

本公开描述了用于评估策略并生成具有改进性能的策略的系统和方法。在一些示例中，使用基于先前算法(例如，“日志记录策略”)而收集到的历史数据来执行离策略(off-policy)评估，以便估计经更新的算法(例如，“目标策略”)的性能。可以使用估计器，其中重要性权重被用于对历史数据中的观察到的奖励与由目标策略生成的估计出的奖励之间的差异进行加权(例如，可以由奖励预测器来估计)。在示例中，该方法涉及降低重要性权重以改进均方误差(MSE)上的界限。在一些示例中，质量不可知估计器被用于根据阈值来评估重要性权重。在这样的示例中，当重要性权重超过阈值时，阈值被用作重要性权重，从而提供与奖励预测器的质量无关的上限。在其他示例中，使用基于质量的估计器，其中上限结合了奖励预测器的质量，以便修改估计器使用的重要性权重。

应当理解的是，在另一示例中，离策略估计可以用于生成新目标策略。在示例中，改进MSE上的界限的估计器可以被选择并用于相应地生成目标策略。本文中所描述的用于评估策略和用于生成经优化的策略的方面适用于不同的应用和上下文。给定来自先前日志记录策略的相同量的历史数据，这种方法可以导致更准确的评估和优化。因此，可能需要较少的数据来对政策执行充分的评估和优化，从而减少了与收集数据相关联的困难以及因过时或陈旧数据而引起的潜在问题。

本发明内容被提供来以简化的形式介绍在下面的详细描述中进一步描述的一系列概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用于限制所要求保护的主题的范围。示例的附加方面、特征和/或优点将部分地在随后的描述中进行阐述，并且部分地将通过该描述而变得清楚明白，或者可以通过本公开的实践而被获知。

附图说明

参考以下附图来描述非限制性和非穷举性示例。

图1图示了根据本文中描述的各方面的针对经改进的个性化技术的示例系统的概览。

图2A图示了用于基于根据日志记录策略而生成的收集到的历史数据来评估目标策略的示例方法的概览。

图2B图示了用于确定用于离策略评估的超参数的示例方法的概览。

图2C图示了用于选择用于离策略评估的估计器类别的示例方法的概览。

图3是图示了可以用其实践本公开的方面的计算设备的示例物理组件的框图。

图4A和图4B是可以用其实践本公开的方面的移动计算设备的简化框图。

图5是在其中可以实践本公开的方面的分布式计算系统的简化框图。

图6图示了用于执行本公开的一个或多个方面的平板计算设备。

具体实施方式