[发明专利]一种基于目标采样的模仿学习方法

说明书

一种基于目标采样的模仿学习方法，属于人工智能技术领域。本发明包括网络结构设计、参考轨迹生成及学习算法。通过把一个复杂任务的目标转换为一系列容易训练的子目标，并借助于模仿学习，大大降低复杂任务采用强化学习训练的难度，有效解决了强化学习中具有稀疏reward特征的任务难以训练的问题。

技术领域

本发明涉及一种基于目标采样的模仿学习方法，属于人工智能领域，用于提高训练效率，加快训练速度，解决强化学习中具有稀疏reward特征的任务难以训练的问题。

背景技术

基于深度强化学习方法研究“自学习”空间操作机器人，是指赋予机器人自学习能力，通过“模仿”和自主训练的方式训练机器人掌握各种操作技能，从而解决困扰当前空间操作的非结构化环境、遥操作大时延等难题，是目前机器人领域的重要研究方向。

机器人自我训练需要机器人通过反复试错学习操作技能，对于一些reward函数稀疏的任务(在大量试错中成功率极低)，目前的深度强化学习算法如DDPG/TRPO/PPO等都很难收敛或需要大量的学习训练时间。而在实际操作中很多任务都属于这种类型，如插孔、拧螺丝等。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种基于目标采样的模仿学习方法，通过把一个复杂任务的目标转换为一系列容易训练的子目标，并借助于模仿学习，大大降低复杂任务采用强化学习训练的难度，有效解决了强化学习中具有稀疏reward特征的任务难以训练的问题。

本发明的技术解决方案是：一种基于目标采样的模仿学习方法，包括：

参考轨迹设计：通过人工示教的方式遥控或拖动机械臂完成任务，并记录机械臂的运动轨迹；所述运动轨迹包括机械臂关节角和角速度；

构建神经网络；

执行基本算法流程；所述基本算法流程在强化学习的框架内，利用所述参考轨迹设计reward函数，并对所述神经网络进行训练。

进一步地，所述参考轨迹为τ^I＝{s_k,k∈[0,T]}；其中，s_k表示控制对象在第k时刻的观测状态，T表示参考轨迹持续的时间间隔。

进一步地，所述基本算法流程包括：

子目标采样及参考轨迹分段：根据任务特点把参考轨迹分成若干段，每段设定一个子目标，并依次进行训练；

切换条件设计：根据任务特点设计每个子目标满足的条件作为切换为下一个阶段的判断条件；

初始化：初始化网络及其它相关变量；

子目标序列训练：以第一个子目标为任务目标开始强化学习训练，在满足切换条件后，按照子目标序列依次进行其它子目标的训练。

进一步地，所述子目标采样的方法为：从参考轨迹τ^I中按照某一规则采样序列点G＝(g₁,g₂,…g_m)；其中g_m为最终任务目标；

所述参考轨迹分段是指在子目标采样的同时，按照子目标把整个参考轨迹τ^I分成m段，每段以该子目标为本段的任务目标。

进一步地，所述切换条件为由子目标g_k(s)切换到g_k+1(s)需要满足的条件C(s,g_k)∈C:S×S→R。

进一步地，所述初始化包括如下步骤：

随机初始化策略网络和价值网络，设定当前仿真时间T_k＝0，当前参考轨迹子目标g(s)＝g₀(s)，并选择一种on-policy强化学习算法。