[发明专利]通过具有对抗强化学习的动作成形来进行模仿学习

权利要求书

1.一种用于获得多个坏的演示的计算机实现的方法，包括：

由处理器设备读取拥护者环境；

由所述处理器设备通过使用所述拥护者环境进行强化学习来训练使任务失败的多个对抗代理；和

由所述处理器设备通过在所述拥护者环境上扮演所述经训练的对抗代理来收集所述多个坏的演示。

2.根据权利要求1所述的计算机实现的方法，其中训练所述多个对抗代理包括：

使用所述拥护者环境重置多个对抗环境；和

在所述多个对抗环境中的每一个的多个实例上训练所述多个对抗代理。

3.根据权利要求2所述的计算机实现的方法，其中重置所述多个对抗环境包括将所述多个对抗环境重置为拥护者演示中的受访专家状态。

4.根据权利要求2所述的计算机实现的方法，其中所述拥护者环境包括状态和动作转换函数以及回报结构信息，并且其中，重置所述多个对抗环境包括对于所述多个对抗环境中的每一个，使用(i)与所述拥护者环境的所述状态和动作转换函数相同的一个状态和动作转换函数，(ii)源自所述拥护者环境的回报结构的回报结构，以及(iii)使用所述拥护者环境的受访状态作为初始状态。

5.根据权利要求4所述的计算机实现的方法，其中，从所述拥护者环境的回报结构导出的回报结构包括拥护者回报的否定。

6.根据权利要求1所述的计算机实现的方法，其中，在所述拥护者环境上扮演所述经训练的对抗代理包括从拥护者演示中的专家状态和导致不可恢复状态的对抗动作来构建所述多个坏的演示。

7.根据权利要求1所述的计算机实现的方法，还包括使用所述多个坏的演示和多个好的演示来学习依赖于状态的动作约束。

8.根据权利要求7所述的计算机实现的方法，还包括通过使用所述状态相关动作约束用于探索指导，通过强化学习来训练拥护者策略。

9.根据权利要求1所述的计算机实现的方法，其中，每个所述经训练的对抗代理是各自的随机神经网络策略。

10.根据权利要求1所述的计算机实现的方法，其中，所述多个对抗代理被训练成使用对应于不同策略的不同随机种子，在从所述拥护者环境构建的至少一个对抗环境中最大化预期返回值。

11.一种计算机程序产品，用于获得多个坏的演示，所述计算机程序产品包括具有包含在其中的程序指令的非暂时性计算机可读存储介质，所述程序指令可由计算机执行以使所述计算机执行根据权利要求1至10中任一项所述的方法。

12.一种用于获得多个坏的演示的计算机处理系统，包括：

用于存储程序代码的存储器；和

处理器设备，其可操作地耦合到所述存储器，用于运行所述程序代码以执行根据权利要求1至10中任一项所述的方法的步骤。