[发明专利]一种基于深度强化学习的机械臂运动规划方法

权利要求书

1.一种基于深度强化学习的机械臂运动规划方法，其特征在于，包括以下几个步骤：

步骤1，在机械臂运动前采集一次环境图像，所述环境图像包括初始状态下的机械臂、运动目标点和中间障碍物，得到初始规划空间；

步骤2，根据采集到的环境图像，利用目标分割算法分离出禁止区域、工作区域以及目标位置，重构初始规划空间；

步骤3，将重构得到的规划空间划分为三维栅格空间，并将栅格空间二值化；

步骤4，利用机器人逆向运动学在已知末端坐标下求得机械臂各关节对应解析解，在全局坐标系下判定机械臂与规划空间边界、禁止区域边界和运动目标之间的相对位置关系；

步骤5，利用深度强化学习算法在二值化后的规划空间中为机械臂规划运动策略并获取最优运动策略，使得机械臂在避开障碍物的前提下，以最小代价运动到目标位置。

2.根据权利要求1所述的基于深度强化学习的机械臂运动规划方法，其特征在于，在步骤1中，利用三台RGB相机在机械臂运动前分别采集规划空间的正视图、侧视图和俯视图。

3.根据权利要求2所述的基于深度强化学习的机械臂运动规划方法，其特征在于，在步骤2中，采用Mask R-CNN算法将所采集的规划空间图像像素点分为障碍物像素点、目标位置素点和其它像素点三类，得到重构后的环境三维空间信息。

4.根据权利要求3所述的基于深度强化学习的机械臂运动规划方法，其特征在于，所述步骤3中，所述建立二值化三维栅格空间包括如下几个步骤：

步骤3.1，将步骤1中采集到的环境图像细化分割为等面积栅格；

步骤3.2，根据步骤2得到的障碍物Mask信息，对步骤3.1中的栅格进行分类；每个栅格中，若障碍物像素点占比超过预设的阈值50％，将此栅格设为障碍物栅格，并将其标记为黑色，否则，将其标记为白色，障碍物栅格构成禁止区域，非障碍物栅格构成工作区域。

5.根据权利要求4所述的基于深度强化学习的机械臂运动规划方法，其特征在于，所述步骤4中，利用机器人逆向运动学在已知末端坐标下所求得的机械臂各关节对应解析解数量不唯一，选定一组解析解后，在全局坐标系下判定机械臂与规划空间边界、禁止区域边界和运动目标之间的相对位置关系，作为所述步骤5中深度强化学习奖惩值给定依据。

6.根据权利要求5所述的基于深度强化学习的机械臂运动规划方法，其特征在于，在步骤5中，包括：所述深度强化学习算法采用DDPG算法，输入量s_t包含机械臂末端点在栅格空间中的坐标与运动目标坐标，输出量a_t为机械臂末端点运动方向，分别为上、下、左、右、前和后，机械臂在避开障碍物的前提下，以最大回报为目标，运动到目标位置。

7.根据权利要求6所述的基于深度强化学习的机械臂运动规划方法，其特征在于，所述DDPG算法，包括：

设置Actor网络和Critic网络的网络结构，隐藏层均使用ReLU作为激活函数，Actor网络的输出层使用tanh作为激活函数，输出其范围；

划分为6个区间，分别对应6个末端点运动方向，Critic网络的输出层不使用激活函数，训练过程中，学习网络的权重赋予给目标网络；

输出动作后，加入随机探索噪声增大训练初期探索概率，在程序中用正态分布曲线模拟该噪声，其期望为Actor网络输出值；

设置最大训练回合与每个回合最大步数。

8.根据权利要求7所述的基于深度强化学习的机械臂运动规划方法，其特征在于，所述学习网络的权重赋予给目标网络的函数为：θ'←τθ+(1-τ)θ',其中取τ＝10^-3，记忆库R的大小设为10⁴。