[发明专利]使用强化学习选择动作名单

说明书

包括在计算机存储介质上编码的、用于使用强化学习来选择动作名单的计算机程序的方法、系统和装置。其中一种方法包括接收表征环境当前状态的观测；通过使用深度神经网络处理所述观测和多个候选动作名单来选择动作名单，其中每个候选动作名单包括来自动作集合的相应多个动作，并且其中深度神经网络被配置为对于每个动作名单处理观测和该候选动作名单中的动作以生成该候选动作名单的名单Q值，该值是响应于观测从提供给动作选择器的所述候选动作名单产生的长期奖励的估计；以及响应于观测将选择的动作名单提供给动作选择器。

背景技术

本说明书涉及强化学习。

在强化学习系统中，响应于接收表征当前环境状态的观测，代理通过执行由强化学习系统选择的动作来与环境交互。

一些强化学习系统响应于接收给定观测，根据神经网络的输出选择要由代理执行的动作。

神经网络是采用一层或多层非线性单元来预测接收到的输入的输出的机器学习模型。一些神经网络是深度神经网络，其除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每一层根据相应的参数集的当前值从接收到的输入生成输出。

发明内容

本说明书描述了与强化学习相关的技术。特别地，本说明书描述了响应于表征环境状态的观测来选择包括多个动作的动作名单(action slate)的技术。然后，动作选择器通过选择动作(例如通过从提供的动作名单选择动作)与环境交互。

在一个方面，公开了一种向动作选择器提供动作名单的方法，所述动作选择器通过选择并执行动作与环境交互。动作名单包括从预定的动作集合中选择的多个动作，并且环境响应于由动作选择器执行的动作而转换状态。该方法包括接收表征环境的当前状态的观测；通过使用深度神经网络处理所述观测和多个候选动作名单来选择包括多个动作的动作名单，其中每个候选动作名单包括来自动作集合的相应多个动作，并且其中深度神经网络是被配置为对于每个候选动作名单，处理所述观测和该候选动作名单中的动作以生成该候选动作名单的名单Q值，该名单Q值是响应于所述观测从提供给动作选择器的候选动作名单产生的长期奖励的估计；和响应于所述观测，将所选择的动作名单提供给动作选择器。

该方法还可以包括以下任选特征。

响应于接收动作名单，动作选择器可执行(i)从动作名单选择的动作或者(ii)未包括在动作集合中的空动作。

动作名单可包括预定数量的槽位。

对于所述动作名单中的槽位的给定子集，选择动作名单可包括：为槽位的所述给定子集生成多个候选名单，针对槽位的所述给定子集的每个候选名单包括：在已经选择了动作的任一槽位中，已经为该槽位选择的动作，在所述给定子集中的每个槽位中的相应候选动作，其中每个候选名单在所述给定子集中的槽位中具有与每个其他候选名单不同的候选动作的组合，以及在除了所述给定子集中的槽位和已经选择了动作的槽位之外的动作名单中的任一槽位中的相应占位动作；使用深度神经网络利用所述观测来处理所述多个候选名单中的每一个候选名单以生成每个候选名单的相应名单Q值；和将具有最高名单Q值的所述候选名单中的所述给定子集中的槽位中的候选动作选择为所述动作名单中的槽位的所述给定子集中的动作。

槽位的所述给定子集可具有大于1的预定数量的槽位。槽位的所述给定子集可具有一个槽位。

当被提供给动作选择器时，动作名单中的槽位可从动作名单中的最高槽位到动作名单中的最低槽位排序。选择动作名单可包括基于当被提供给动作选择器时动作名单中的槽位的排序，按顺序为动作名单中的槽位的每个子集选择动作。

该方法可以进一步包括生成动作名单中的槽位的子集的随机排序。选择动作名单可包括根据随机排序，按顺序为动作名单中的槽位的每个子集选择动作。

对于每个候选名单，所述占位动作可与所述给定子集中的一个候选动作相同。对于每个候选名单，占位动作可以是由外部动作推荐系统建议的动作。