[发明专利]一种基于数字孪生和深度神经网络的机器人智能抓取方法

权利要求书

1.一种基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的机器人智能抓取包括物理抓取环境、虚拟抓取判别环境和抓取决策神经网络；

所述物理抓取环境包括物理机器人、机械爪、深度相机以及待抓取物体集合；所述机械爪为二指平行自适应夹爪；

所述虚拟抓取判别环境为上位机通过与物理硬件进行虚实信息传递所构建的虚拟抓取环境，包括机器人状态、夹爪状态、深度相机姿态以及物体摆放点云信息；

所述抓取决策神经网络均为深度卷积神经网络，运行在上位机中，其包括抓取姿态生成网络以及抓取质量判别网络；

所述的机器人智能抓取方法具体包括如下步骤：

（1）根据现有的机器人智能抓取数据集给出的颜色-深度图像和成功进行物体抓取的抓取框，对其中的抓取质量Q、抓取角度φ、抓取开度W、抓取深度H四个参数进行预处理，得到抓取姿态生成网络的训练集；

（2）根据所述的训练集训练抓取姿态生成网络；

（3）将所述深度相机拍摄的物体深度点云图片和物体彩色照片所组成的4通道图像输入训练好的抓取姿态生成网络中，输出与输入图像长宽一致的四张单通道特征图像；

（4）从所述抓取决策神经网络输出的图像中选取抓取成功概率较高的图像，对这些图像进行旋转、缩放与深度归零的处理后，输入所述的抓取质量判别网络，输出每次抓取的评分；

（5）选择评分最高的抓取作为最终的抓取，结合虚拟抓取环境中的相机姿态、机器人姿态以及相机内参，将所述抓取决策神经网络所判断出的深度相机坐标系下的最佳2.5D抓取姿态，转化到机器人基坐标系下的3D抓取姿态，并控制机器人和机械爪完成对物体的抓取。

2.根据权利要求1所述的基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的步骤（1）中的预处理包括：

将每个抓取框的沿着抓取宽度的中心的1/3部分的抓取质量q设定为1，其他部分设定为0；

将每个抓取框中相对于图片的转动角度处于抓取框中心1/3处填充其抓取角度，取值在内；

将每个抓取框的像素宽度位于抓取框中心1/3处填充其抓取开度 ,取值在内；

计算每个抓取框包围范围中深度图像的平均深度，并将这个平均深度作为抓取深度填充进抓取框中心1/3处。

3.根据权利要求1所述的基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的抓取姿态生成网络为通过遗传算法对卷积层数为6的抓取生成神经网络进行离散优化得到的拥有16个卷积层的高精度深度卷积神经网络。

4.根据权利要求1所述的基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的抓取质量判别网络为全卷积神经网络，以4自由度评估抓取候选对象，即抓取的三维位置和绕z轴旋转的角度判别抓取的质量判别抓取是否成功。

5.根据权利要求1所述的基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的机器人状态包括机器人几何信息、各关节角度信息、机器人运动最大速度与最大加速度以及机器人工作状态；所述的夹爪状态包括当前夹爪开度以及夹爪工作状态；所述的深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置和姿态，共6个自由度；所述的物体摆放点云信息为物体集合相对于相机坐标系的位置和姿态。