[发明专利]利用合成环境改进强化学习的设备和方法

权利要求书

1.一种用于学习被配置为控制智能体的策略（）的计算机实现的方法，包括以下步骤：

提供合成环境参数（）和真实环境（）以及初始化策略的群体；

重复后续步骤达预定次数的重复作为第一循环：

（1）对策略群体中的每个策略实行后续步骤作为第二循环：

（a）用随机噪声干扰合成环境参数（）；

（b）针对取决于受干扰的合成环境参数构建的合成环境（）训练策略；

（c）确定通过训练策略实现的奖励，所述奖励被应用于真实环境（）上；

（2）取决于第二循环的训练策略的奖励来更新合成环境参数（）；和

输出训练策略的策略（），所述策略（）针对真实环境（）实现最高奖励或者在针对合成环境（）的训练期间实现最高奖励。

2.根据权利要求1所述的方法，其中合成环境参数（）的更新通过随机梯度估计基于第二循环中训练策略的确定奖励加权和来实行。

3.根据权利要求1或2所述的方法，其中，第二循环的步骤、特别是策略的训练对于策略群体中的策略并行实行。

4.根据权利要求1至3中任一项所述的方法，其中在针对合成环境（）训练每个策略之前对其随机初始化。

5.根据权利要求1至4中任一项所述的方法，其中，如果在训练的给定数量的先前情节中累积奖励的移动平均值的改变小于给定阈值，则终止训练策略的步骤。

6.根据权利要求1至5中任一项所述的方法，其中实行超参数优化，来对用于训练策略的训练方法和/或用于更新合成环境参数的优化方法的超参数进行优化。

7.根据前述权利要求中任一项所述的方法，其中合成环境由神经网络表示，其中合成环境参数（）是所述神经网络的参数、特别是权重。

8.根据前述权利要求中任一项所述的方法，其中取决于由输出策略确定的动作来控制智能体的致动器（10）。

9.根据权利要求8所述的方法，其中所述智能体是至少部分自主的机器人（100）和/或制造机器（200）和/或访问控制系统（300）。

10.一种用于学习合成环境的计算机实现的方法，提供合成环境参数（）和真实环境（）以及初始化策略的群体；

重复后续步骤达预定次数的重复作为第一循环：

（1）对策略群体中的每个策略实行后续步骤作为第二循环：

（a）用随机噪声干扰合成环境参数（）；

（b）针对取决于受干扰的合成环境参数构建的合成环境训练策略；

（c）确定通过训练策略实现的奖励，所述奖励被应用于真实环境（）上；

（2）取决于第二循环的训练策略的奖励来更新合成环境参数（）；和

输出更新的合成环境参数（）。

11.一种计算机程序，其被配置为如果所述计算机程序由处理器（45，145）实行，则使得计算机实行根据权利要求1至10中任一项的方法及其所有步骤。

12.一种机器可读存储介质（46，146），其上存储根据权利要求11的计算机程序。

13.一种被配置为实行根据前述权利要求1 - 10中任一项的方法的装置。