[发明专利]一种空间机械臂避障路径规划系统、方法、计算机设备及存储介质

说明书

本发明属于空间机械臂技术领域，公开了一种空间机械臂避障路径规划方法，包括以下步骤：步骤1：设计用于空间机械臂避障的强化学习算法；步骤2：将每节机械臂都视为智能体，用强化学习算法对各节机械臂进行离线训练，获取各个智能体的状态‑动作值函数表；步骤3：空间机械臂在作业过程中，将各个关节角变化转换为利用逆运动学求出的关节角度值；当空间机械臂靠近障碍物时，相应的臂杆进入到危险状态，这时智能体自动根据状态‑动作值函数表选择相应的动作对障碍物进行避障。使用该方法能使空间机械臂在对固定目标进行跟踪的同时，实现对固定或移动障碍物的有效避障，具有在复杂动态环境下较强的适应性和决策能力。

技术领域

本发明属于空间机械臂技术领域，特别涉及一种空间机械臂避障路径规划系统、方法、计算机设备及存储介质。

背景技术

随着人类对地外空间的不断探索，大量的航天任务不断出现，在轨服务技术得到了快速的发展。而空间机器人对于实现在轨服务，如对航天器的在轨维修，空间碎片的在轨捕获，空间站的在轨建造与维护等任务有着重要作用。为此各国研究人员对空间机器人进行了深入的研究，空间机器人根据执行机构的数目分为单臂和多臂空间机器人，本发明的研究对象为单臂空间机器人。空间机械臂固联在空间机器人上，是空间机器人的执行机构，空间机器人的大部分操作任务都由空间机械臂完成。空间机械臂具有冗余的自由度，这使得它在对目标进行捕获的同时可以对障碍物进行躲避，与其他执行机构相比也可以实现更精细的操作，这使得它具有广阔的应用前景。很多专家对空间机械臂的避障路径规划方面做了深入的研究，并取得了丰硕的成果。

姜力在文献《七自由度冗余机械臂避障控制》中提出了一种基于冗余机械手的零空间运动方程的七自由度在轨自保持冗余机械手逆动力学避障控制方法，该方法可以在确保机械臂末端执行器有效地跟踪最终执行轨迹的同时实现避障。贾庆轩在文献《基于A～*算法的空间机械臂避障路径规划》中使用A*启发式搜索算法来实现空间机械臂的无碰撞路径规划。祁若龙在文献《一种基于遗传算法的空间机械臂避障轨迹规划方法》中通过建立理想轨迹的分段描述方程，将空间机械臂轨迹规划问题转变为一个多目标优化求解问题，并通过加权系数法建立遗传算法适应度评定函数，最后利用遗传算法在关节空间下规划出一条无碰撞理想轨迹。以上的方法都属于传统方法，通常针对特定的目标和障碍对轨迹进行最优规划，但更复杂的环境将会增加计算成本并大幅降低鲁棒性，进一步增加轨迹规划成功的难度，甚至使任务失败。

发明内容

本发明的目的在于提供一种空间机械臂避障路径规划方法，解决传统避障方法在复杂环境中计算成本大、鲁棒性差的问题。

本发明是通过以下技术方案来实现：

一种空间机械臂避障路径规划方法，包括以下步骤：

步骤1：设计用于空间机械臂避障的强化学习算法；

步骤2：将每节机械臂都视为智能体，用强化学习算法对各节机械臂进行离线训练，获取各个智能体的状态-动作值函数表；

步骤3：空间机械臂在作业过程中，将各个关节角变化转换为利用逆运动学求出的关节角度值；

当空间机械臂靠近障碍物时，相应的臂杆进入到危险状态，这时智能体自动根据状态-动作值函数表选择相应的动作对障碍物进行避障。

进一步，强化学习算法采用Q学习算法。

进一步，步骤1具体为：

1.1、设计智能体的状态值与动作值，根据不同的状态智能体采取不同的动作；

1.2、设计智能体选择动作策略，即在当前状态下选取能使得动作价值函数值最大的动作；

1.3、设计奖惩函数来对选取动作后智能体所处的状态进行评价，进而对动作价值函数值进行更新。

进一步，步骤3中，将各个关节角变化转换为利用逆运动学求出的关节角度值，具体为：