[发明专利]使用强化学习选择动作名单

摘要

包括在计算机存储介质上编码的、用于使用强化学习来选择动作名单的计算机程序的方法、系统和装置。其中一种方法包括接收表征环境当前状态的观测；通过使用深度神经网络处理所述观测和多个候选动作名单来选择动作名单，其中每个候选动作名单包括来自动作集合的相应多个动作，并且其中深度神经网络被配置为对于每个动作名单处理观测和该候选动作名单中的动作以生成该候选动作名单的名单Q值，该值是响应于观测从提供给动作选择器的所述候选动作名单产生的长期奖励的估计；以及响应于观测将选择的动作名单提供给动作选择器。

主权项

1.一种向动作选择器提供动作名单的方法，所述动作选择器通过选择并执行动作与环境交互，其中所述动作名单包括从预定的动作集合中选择的多个动作，并且其中所述环境响应于由所述动作选择器执行的动作而转换状态，所述方法包括：接收表征所述环境的当前状态的观测；通过使用深度神经网络处理所述观测和多个候选动作名单来选择包括多个动作的动作名单，其中每个候选动作名单包括来自所述动作集合的相应多个动作，并且其中所述深度神经网络被配置为针对每个候选动作名单处理所述观测和该候选动作名单中的动作以生成该候选动作名单的名单Q值，所述名单Q值是响应于所述观测从提供给所述动作选择器的所述候选动作名单产生的长期奖励的估计；以及响应于所述观测，将所选择的动作名单提供给所述动作选择器。