[发明专利]基于强化学习的空间机器人捕获翻滚目标运动规划方法

权利要求书

1.一种基于强化学习的空间机器人捕获翻滚目标运动规划方法，其特征在于步骤如下：

步骤1、设计智能体状态与动作具体形式，设计奖励函数：

动作具体形式：

其中：τ_n为各关节的控制输入；

智能体的状态量为：

其中：机械臂末端与目标的相对位置关节控制输入直接影响的是各关节的位置与速度由于空间机器人基座自由漂浮，其位置与姿态

连续的奖励函数设置：r＝-||p_e-p_t||-||τ||²；

步骤2、基于强化学习的空间机器人抓捕非合作目标运动规划训练与决策过程：

以初始状态为s₀，以DDPG决策器的初始参数为θ₀，在该策略参数下输出动作空间机器人采取该动作并记录下一刻动作s_t+1与当前奖励值R_t，存入记忆库并标记其优先级；进行一段时间的数据收集后，根据优先回放概率抽取记忆用以神经网络的训练；计算DDPG的策略梯度：

根据公式进行神经网络权重参数的更新，不断重复上述过程，直至训练收敛，最终收敛的网络权重参数即对应着最优策略。

2.根据权利要求1所述基于强化学习的空间机器人捕获翻滚目标运动规划方法，其特征在于：所述步骤2计算DDPG的策略梯度的计算过程：记忆库大小为N，抽取记忆数量k，每一幕实验步数T：

0：初始化网络参数，初始化记忆库

1：for t＝1 to T,do:

2：执行策略，记录记忆数据<s_t,a_t,r_t,s_t+1>，记忆库数据容量n＝n+1；

3：记录其被抽取概率

4：if n＞N,do:

5：for j＝1 to K,do:

6：根据概率抽取记忆

7：计算权重参数

8：更新TD误差

9：更新其对应的抽取概率p_j←δ_j

10：end for.

11：end if.

12：end for.。