[发明专利]一种结合神经运动规划算法和人工势场法的机械臂在线运动规划方法

说明书

一种结合神经运动规划算法和人工势场法的机械臂在线运动规划方法，属于机器人运动规划领域。本发明为了解决基于强化学习的神经运动规划器当规划任务的精度要求高时训练困难的问题，以及人工势场法的斥力势场构建复杂、存在局部极值的问题。本发明包括：一：对人工势场法进行简化，仅保留机械臂受到的引力势场，在避免构建复杂的斥力势场的同时也使局部极值问题不再存在。二：提出将人工势场法和强化学习相结合进行规划的新思路，通过设计灵活的切换机制，在距离目标较远时采用强化学习进行规划、距离小于阈值时切换为人工势场进行规划，提高了强化学习的训练速度和运动规划成功率。通过在仿真引擎中对不同精度的规划任务进行训练和测试，验证了所提方法的有效性。本发明用于机器人运动规划技术领域。

技术领域

本发明涉及动态环境下的机械臂在线运动规划方法，属于机器人运动规划领域。

背景技术

机械臂运动规划算法可以分为离线运动规划算法和在线运动规划算法两类，离线运动规划算法的输入为规划目标、环境障碍物信息和运动学约束，输出为一条完整的轨迹。在线运动规划算法则接收规划目标和状态感知信息输出机械臂一步关节动作，机械臂执行一步运动之后将新的状态信息反馈给运动规划器输出下一步的动作。在线运动规划算法与离线运动规划算法相比具备闭环的规划能力，可以实现动态环境下的运动规划，因而具有更强的适应性。因此，机械臂在线运动规划非常重要。

现有专利文献CN113119114A公开了一种基于强化学习算法的工业机械臂运动规划方法，将强化学习Actor-Critic算法应用到机械臂运动规划中，使机械臂与环境建立起一种交互关系，通过与环境的实时交互进行训练，提高机械臂对环境的适应能力，从而实现自主学习控制；该文献首先搭建机械臂手眼系统的仿真环境，然后根据仿真环境建立强化学习算法模型，最终完成机械臂的运动规划训练，实现机械臂的智能控制。该现有专利文献采用迭代优化来优化路径，使用已有的强化学习中的一种算法来实现机械臂的运动规划任务。

神经运动规划算法(Neural Motion Planning,NMP)是一种在线运动规划算法，在高维规划空间中的规划效率与传统规划算法相比具有很大的优势，强化学习是训练神经运动规划器的有效手段，但当规划任务的精度提高时基于强化学习的神经运动规划器存在训练困难的问题。人工势场法同样为在线运动规划算法，其优点为计算简洁、高效，在具有高维规划空间的任务中适应性好，但人工势场法的斥力势场构建复杂，且存在局部极值的问题。

发明内容

本发明要解决的技术问题是：

本发明针对基于强化学习的神经运动规划器当规划任务的精度要求高时训练困难的问题，以及人工势场法的斥力势场构建复杂、存在局部极值的问题，提出了一种结合神经运动规划算法和人工势场法的机械臂在线运动规划方法。

本发明为解决上述技术问题所采用的技术方案为：

一种结合神经规划算法和人工势场法的机械臂在线运动规划方法，包括以下步骤：

步骤一：在机械臂的工作空间中建立仅包含引力势场的人工势场；

步骤二：计算神经运动规划算法中智能体的观测信息s_t；

步骤三：利用算法切换规则从神经规划算法和人工势场法两者中选取一个算法来规划机械臂运动；

步骤四：使机械臂执行上一步规划得到的动作，重新计算神经运动规划算法中智能体的观测信息s_t+1；

步骤五：计算神经运动规划算法中智能体获得的奖励值；

步骤六：重复步骤三到步骤五，以收集神经运动规划算法中智能体与环境的交互数据，以观测信息、动作、下一步的观测信息、奖励值组成的元组的形式进行存储；当神经运动规划算法中智能体的交互数据达到一定的量时，开始以一定的频率训练神经运动规划算法中智能体的策略神经网络；当训练回合数达到设定的最大回合数时，停止收集交互数据和训练；