[发明专利]基于强化学习的空间机器人捕获翻滚目标运动规划方法

摘要

本发明涉及一种基于强化学习的空间机器人捕获翻滚目标运动规划方法，包括设计了用以学习训练的智能体状态与动作具体形式，与到达任务的奖励函数；基于优先回放的DDPG算法改进；应用改进的DDPG算法进行抓捕任务的训练过程。本发明的有益效果是，不再需要对空间机器人与非合作环境进行精确建模，仅在观测特定状态的情况下进行智能算法的学习训练，即可对空间机器人抓捕非合作目标进行运动规划。其学习到的策略可以应对一定程度的观测噪声，使得机器人可以智能、自主地抓捕目标。

主权项

1.一种基于强化学习的空间机器人捕获翻滚目标运动规划方法，其特征在于步骤如下：步骤1、设计智能体状态与动作具体形式，设计奖励函数：动作具体形式：其中：τ_n为各关节的控制输入；智能体的状态量为：其中：机械臂末端与目标的相对位置关节控制输入直接影响的是各关节的位置与速度由于空间机器人基座自由漂浮，其位置与姿态连续的奖励函数设置：r＝‑||p_e‑p_t||‑||τ||²；步骤2、基于强化学习的空间机器人抓捕非合作目标运动规划训练与决策过程：以初始状态为s₀，以DDPG决策器的初始参数为θ₀，在该策略参数下输出动作空间机器人采取该动作并记录下一刻动作s_t+1与当前奖励值R_t，存入记忆库并标记其优先级；进行一段时间的数据收集后，根据优先回放概率抽取记忆用以神经网络的训练；计算DDPG的策略梯度：根据公式进行神经网络权重参数的更新，不断重复上述过程，直至训练收敛，最终收敛的网络权重参数即对应着最优策略。