[发明专利]一种基于深度强化学习的机械臂运动规划方法

说明书

本发明公开一种基于深度强化学习的机械臂运动规划方法，包括：步骤1，在机械臂运动前采集一次环境图像，所述环境图像包括初始状态下的机械臂、运动目标点和中间障碍物；步骤2，根据采集到的环境图像，利用目标分割算法分离出禁止区域、工作区域以及目标位置，重构规划空间；步骤3，将重构得到的规划空间划分为三维栅格空间，并建立二值化栅格空间；步骤4，利用机器人逆向运动学在已知末端坐标下求得机械臂各关节对应解析解，在全局坐标系下判定机械臂与规划空间边界、禁止区域边界和运动目标之间的相对位置关系；步骤5，为机械臂规划运动策略并获取最优运动策略，使得机械臂在避开障碍物的前提下，以最小代价运动到目标位置。

技术领域

本发明涉及一种基于强化学习的动态智能规划方法,尤其是涉及一种6轴协作机械臂的运动规划方法。

背景技术

传统的机械臂轨迹规划多采用轨迹插补的方法，并结合高次多项式对机械臂的位置、速度以及加速度进行平滑，在这种方法下，机械臂的运动方案相对固定，无法主动避让环境中的障碍物。随着工业领域对机械臂的性能要求越来越高，需要机械臂完成更多的交互或者动态复杂空间的作业任务，传统的方法便不再适用。

近些年来，强化学习方法被越来越多地应用在机器人控制任务中，传统的强化学习方法如Q-learning算法，随着状态空间的增长，训练模型所需的内存空间也越大。2013年，谷歌Deepmind提出了DQN(Deep Q Network)算法，解决了高维度状态空间的问题。在DQN之前，人们普遍认为使用大型非线性函数逼近器来学习值函数是困难且不稳定的。该算法将深度学习与强化学习相结合，能够以稳定的方式使用类函数逼近器来学习价值函数，为了最小化样本之间的相关性，网络使用缓冲器中的样本进行离线训练，但难以应对高维连续动作空间。Actor-Critic方法能够处理连续动作空间问题，但使用随机性策略使得网络难以收敛。为此，2015年，谷歌Deepmind提出了DDPG(Deep Deterministic PolicyGradient)算法，利用Actor-Critic框架，融合DQN的优势，解决连续状态动作空间问题，同时采用确定性策略使得网络收敛性更佳。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明公开了一种机械臂运动规划方法，规划空间设置有标定完成的图像采集装置，用于划分工作区域与禁止区域。

技术方案：一种基于深度强化学习的机械臂运动规划方法，其特征在于，包括以下几个步骤：

步骤1，在机械臂运动前采集一次环境图像，所述环境图像包括初始状态下的机械臂、运动目标点和中间障碍物，得到初始规划空间；

步骤2，根据采集到的环境图像，利用目标分割算法分离出禁止区域、工作区域以及目标位置，重构初始规划空间；

步骤3，将重构得到的规划空间划分为三维栅格空间，并将栅格空间二值化，其中1代表禁止区域，0代表工作区域；

步骤4，利用机器人逆向运动学在已知末端坐标下求得机械臂各关节对应解析解，在全局坐标系下判定机械臂与规划空间边界、禁止区域边界和运动目标之间的相对位置关系；

步骤5，利用深度强化学习算法在二值化后的规划空间中为机械臂规划运动策略并获取最优运动策略，使得机械臂在避开障碍物的前提下，以最小代价运动到目标位置。

本发明进一步限定的技术方案为：在步骤1中，利用三台RGB相机在机械臂运动前分别采集规划空间的正视图、侧视图和俯视图。

作为优选，在步骤2中，采用Mask R-CNN算法将所采集的规划空间图像像素点分为障碍物像素点、目标位置素点和其它像素点三类，得到重构后的环境三维空间信息。

作为优选，所述步骤3中，所述建立二值化三维栅格空间包括如下几个步骤：

步骤3.1，将步骤1中采集到的环境图像细化分割为等面积栅格；