[发明专利]一种基于自适应模型的机器人强化学习方法

权利要求书

1.一种基于自适应模型的机器人强化学习方法，其特征在于，将在以下几个步骤不断进行迭代，直至收敛：

步骤1、数据搜集，所述机器人在真实环境中根据当前的策略执行动作a，得到真实数据，并将其添加到真实数据集合中；

步骤2、模型训练，使用所述真实数据集合中的数据，通过极大似然估计训练所述模型，所述模型包括特征提取器和解码器；

步骤3、模型自适应，使用真实数据和虚拟数据优化所述特征提取器；

步骤4、策略优化，用当前策略和所述模型生成一些一定长度的虚拟轨迹，将这些虚拟轨迹数据添加到虚拟数据集合中，然后从所述真实数据集合和所述虚拟数据集合中按照一定比例采样数据来优化策略；

所述步骤2中，所述模型是一个由神经网络构建的环境模型，前几层是所述特征提取器，后面几层是所述解码器；给定一个数据输入(s,a)，先经过所述特征提取器得到隐层特征，然后该隐层特征再经过所述解码器得到所述模型的输出；

所述步骤2中，所述模型采用集成的方式，即多个网络结构一样但是参数初始化不同的单个模型组成一个集成模型；

所述步骤3中，包括以下步骤：

步骤3.1、用所述步骤1得到的真实数据训练所述模型；

步骤3.2、清空虚拟数据集合；

步骤3.3、从所述步骤1得到的真实数据集合中随机选取状态作为起始点，用当前策略和所述模型生成一些虚拟轨迹；

步骤3.4、将步骤3.3生成的虚拟轨迹加入到所述虚拟数据集合中；

步骤3.5、用真实数据和虚拟数据更新所述模型的特征提取器。

2.如权利要求1所述的强化学习方法，其特征在于，所述步骤1中，于每一个回合的每一个时刻t，机器人在真实的当前状态s_t下执行动作a_t，得到奖励r_t，到达新的状态s_t+1，将(s_t,a_t,r_t,s_t+1)四元组添加到真实数据集合中。

3.如权利要求1所述的强化学习方法，其特征在于，所述骤2中，所述单个模型是概率神经网络构建的模型，输出预测状态是高斯分布。

4.如权利要求3所述的强化学习方法，其特征在于，所述步骤2中，所有所述单个模型一起训练，每次训练的时候将从步骤1中的真实数据集合的数据有放回采样，为每所述单个模型创建各自的训练数据集；模型的输出是高斯分布的均值和方差，损失函数是最大似然估计；模型训练的损失函数将梯度反传至所述解码器和所述特征提取器，它们的参数得以更新。

5.如权利要求1所述的强化学习方法，其特征在于，所述步骤3.3中，随机选择所述集成模型中的某单个神经网络模型用于生成虚拟轨迹。

6.如权利要求1所述的强化学习方法，其特征在于，所述步骤3.5中，同时把真实数据和虚拟数据一起输入所述模型的特征提取器，然后对于输出得到的真实特征分布和虚拟特征分布计算它们之间的韦式距离，该距离便是模型自适应的损失函数，通过减小该距离来优化所述特征提取器从而达到特征分布校准的作用。

7.如权利要求6所述的强化学习方法，其特征在于，所述步骤3.5中，所述韦式距离的计算方式为：另外引入一个评论网络，所述评论网络的输入为所述特征提取器输出的特征，输出是一个值；当所述评论网络满足利普希兹约束时，真实数据和虚拟数据两个对应的特征分布输出的值的期望相减的最大值便是所述韦式距离的估计；利普希兹约束条件通过梯度惩罚来实现；交替对抗训练所述评论网络和所述特征提取器来达到拉近分布距离的效果；一方面，通过最大化期望差优化所述评论网络来得到更准确的所述韦式距离的估计，另一方面通过最小化期望差优化所述特征提取器来得到较小韦式距离达到特征分布校准的效果。