[发明专利]基于卷积神经网络的多物体抓取区域定位方法

权利要求书

1.一种基于卷积神经网络的多物体抓取区域定位方法，其特征在于，包括如下步骤：

步骤1：对Cornell Grasping Dataset进行数据增强，并按照旋转直径圆的抓取表示方式构建训练集的标签，所述训练集用于训练抓取卷积神经网络；

步骤2：构建抓取卷积神经网络，并利用所述训练集离线训练所述抓取卷积神经网络的参数，得到抓取卷积神经网络模型；

步骤3：使用摄像头获取RGB图像和配准的点云，RGB图像作为所述抓取卷积神经网络模型的输入；

步骤4：利用抓取卷积神经网络为图像中的每个物体预测可行的抓取圆；

步骤5：所述抓取圆传给抓取位姿定位算法，通过配准的点云确定物体的位置与姿态；

所述步骤1中，构建训练集的具体方法为：

步骤1.1：对Cornell Grasping Dataset中的每一张RGB图像进行随机的旋转、平移和缩放，随机调整图像的亮度、饱和度、对比度和色相，进行数据增强；

步骤1.2：对数据增强得到的任意一张RGB图像划分为N×N的网格，若抓取圆的中心位于某个网格内，则该网格负责检测该抓取圆，令该网格的抓取置信度标签为1，通过四维向量G＝{x,y,d,θ}表示抓取圆，其中(x,y)表示旋转直径圆的圆心坐标，d表示旋转直径圆的直径，θ表示抓取圆的旋转直径与水平直径的夹角，即物体在图像中的旋转角度，按照所述旋转直径圆的抓取表示方式构建图像的标签；否则，令该网格的抓取置信度标签为0。

2.根据权利要求1所述的基于卷积神经网络的多物体抓取区域定位方法，其特征在于，所述步骤2中，抓取卷积神经网络为全卷积神经网络，由特征提取层，特征融合层，输出层三部分组成，网络的输出层按照所述旋转直径圆的抓取表示方式构建；通过所述训练集训练卷积神经网络模型的参数。

3.根据权利要求1所述的基于卷积神经网络的多物体抓取区域定位方法，其特征在于，所述步骤3中的摄像头为Kinect V2。

4.根据权利要求1所述的基于卷积神经网络的多物体抓取区域定位方法，其特征在于，所述步骤5中，定位物体抓取位姿的方法具体为：

步骤5.1：确定物体的位置：

利用抓取圆的圆心和RGB图像配准的点云，在相机坐标系下获得所述物体体抓取点的位置；

步骤5.2：确定物体的姿态：

在相机坐标系下，通过配准的点云在抓取点的邻域内计算抓取点的法线向量，以抓取点的法线向量作为抓取参考坐标系z轴的单位向量，抓取点的切平面和相机坐标系y＝0平面的交线向量作为抓取参考坐标系y轴的单位向量，根据笛卡尔坐标系右手法则确定抓取参考坐标系的x轴方向,从而确定物体的抓取参考坐标系；抓取参考坐标系绕其z轴旋转一定角度θ后可得到抓取坐标系，从而获得所述物体在相机坐标系下的抓取姿态。