[发明专利]一种空间机械臂避障路径规划系统、方法、计算机设备及存储介质

权利要求书

1.一种空间机械臂避障路径规划方法，其特征在于，包括以下步骤：

步骤1：设计用于空间机械臂避障的强化学习算法；

步骤2：将每节机械臂都视为智能体，用强化学习算法对各节机械臂进行离线训练，获取各个智能体的状态-动作值函数表；

步骤3：空间机械臂在作业过程中，将各个关节角变化转换为利用逆运动学求出的关节角度值；

当空间机械臂靠近障碍物时，相应的臂杆进入到危险状态，这时智能体自动根据状态-动作值函数表选择相应的动作对障碍物进行避障。

2.根据权利要求1所述的一种空间机械臂避障路径规划方法，其特征在于，强化学习算法采用Q学习算法。

3.根据权利要求1所述的一种空间机械臂避障路径规划方法，其特征在于，步骤1具体为：

1.1、设计智能体的状态值与动作值，根据不同的状态智能体采取不同的动作；

1.2、设计智能体选择动作策略，即在当前状态下选取能使得动作价值函数值最大的动作；

1.3、设计奖惩函数来对选取动作后智能体所处的状态进行评价，进而对动作价值函数值进行更新。

4.根据权利要求1所述的一种空间机械臂避障路径规划方法，其特征在于，步骤3中，将各个关节角变化转换为利用逆运动学求出的关节角度值，具体为：

以3连杆6自由度空间机械臂为研究对象，三段连杆的臂长分别设为l₁、l₂、l₃，机械臂的六个关节都是旋转副，分别称为第一关节、第二关节、第三关节、第四关节、第五关节及第六关节；第一关节的关节角为θ₁，第二关节的关节角为θ₂，第三关节的关节角为θ₃，第四关节的关节角为θ₄，第五关节的关节角为θ₅，第六关节的关节角为θ₆；

第一关节的变换矩阵为第二关节的变换矩阵为第三关节的变换矩阵为第四关节的变换矩阵为第五关节的变换矩阵为第六关节的变换矩阵为

将六个关节的变换矩阵依次相乘，得到空间机械臂的运动学方程：

用逆变换左乘运动学方程(1)求解θ₁和θ₃：

用逆变换左乘运动学方程(1)求解θ₂和θ₄：

θ₂＝θ₂₃-θ₃ (4)

其中，

θ₄＝Atan2(-a_xsinθ₁+a_ycosθ₁，-a_xcosθ₁cosθ₂₃-a_ysinθ₁cosθ₂₃+a_zsinθ₂₃) (5)

用逆变换左乘运动学方程(1)求解θ₅：

θ₅＝Atan2(sθ₅，cθ₅) (6)

用逆变换左乘运动学方程(1)求解θ₆：

θ₆＝Atan2(sθ₆，cθ₆) (7)。

5.根据权利要求1所述的一种空间机械臂避障路径规划方法，其特征在于，步骤2具体为：

S1、首先对智能体参数进行初始化；

S2、设置随机障碍物位置与机械臂各关节角初始值；

S3、智能体感知状态s(0)，依据公式(9)选择动作a(0)并执行，智能体继续感知状态s(1)，K++，根据奖惩函数反馈奖励R，根据公式(8)更新动作价值函数Q(s，a)；

S4、判断智能体是否到达安全环境，若否，则返回S3；若是，则I++，K＝0；I为训练周期数、K为试探次数；

S5、然后判断I是否到达上限，若否，则返回S3；若是则流程结束。