[发明专利]基于卷积神经网络的多物体抓取区域定位方法

说明书

本发明公开了一种基于卷积神经网络的多物体抓取区域定位方法，包括图像平面抓取检测部分和抓取位姿定位部分，属于图像检测和定位领域。所述图像平面抓取检测部分对Cornell Grasping Dataset进行数据增强，并按照所述旋转直径圆的抓取表示方式构建图像的抓取标签，得到训练集和验证集；构建卷积神经网络模型并通过所述训练集训练，利用训练好的卷积神经网络模型为图像中每个物体预测可行的抓取圆。所述抓取位姿定位部分通过配准的点云得到抓取点的空间位置，然后计算抓取点的法线向量，结合物体抓取圆的参数，确定物体的抓取位姿。本发明可以在多物体场景下快速而准确的得到每个物体的抓取位姿，从而实现对未知物体的高准确度抓取。

技术领域

本发明涉及图像检测和定位领域，具体涉及一种基于卷积神经网络的多物体抓取区域定位方法。

背景技术

抓取检测是机器人领域的一个重要研究热点。抓取检测简单地可以理解为在多物体场景下，为每个物体找到可行的抓取位姿。由于机械臂抓取物体时必须提供一个准确的抓取位姿，因此在多物体场景下如何做到实时的抓取检测，得到每个物体的抓取位姿是一个具有挑战性的问题。随着深度学习技术的发展，利用卷积神经网络进行抓取检测取得了很大的成功。中国专利CN 108010078公开了一种基于三级串联卷积神经网络的物体抓取检测方法，利用训练好的三级串联卷积神经网络获取目标物的预选抓取框和评判值，通过评判值获取最佳抓取框，从而准确地评估每个预选抓取框，提高抓取框的准确度，实现对未知物体的高准确度抓取。然而，大多数抓取检测网络模型设计过于复杂，不易训练；且旋转矩形框(抓取框)是根据平行板夹持器的形状抽象得到的，虽然在图像平面也可以表示多指夹持器的抓取，但是不够直观，冗余的参数也会影响网络的训练。因此目前需要进一步改善图像平面抓取的表示方式和抓取检测网络模型的设计，使其在多物体场景下能做到实时稳定且准确的抓取检测。

发明内容

本发明针对现有技术的不足，而提出用旋转直径圆表示图像平面可行的抓取，并提供一种基于卷积神经网络的多物体抓取区域定位方法，该方法能在多物体场景下实现对未知物体的高准确度抓取检测。

本发明为解决技术问题采用如下技术方案：

一种基于卷积神经网络的多物体抓取区域定位方法，包括如下步骤：

步骤1：对Cornell Grasping Dataset进行数据增强，并按照旋转直径圆的抓取表示方式构建训练集的标签，所述训练集用于训练抓取卷积神经网络；

步骤2：构建抓取卷积神经网络，并利用所述训练集离线训练所述抓取卷积神经网络的参数，得到抓取卷积神经网络模型；

步骤3：使用摄像头获取RGB图像和配准的点云，RGB图像作为所述抓取卷积神经网络模型的输入；

步骤4：利用抓取卷积神经网络为图像中的每个物体预测可行的抓取圆；

步骤5：所述抓取圆传给抓取位姿定位算法，通过配准的点云确定物体的位置与姿态。

所述步骤1中，构建训练集的具体方法为：

步骤1.1：对Cornell Grasping Dataset中的每一张RGB图像进行随机的旋转、平移和缩放，随机调整图像的亮度、饱和度、对比度和色相，进行数据增强；

步骤1.2：对数据增强得到的任意一张RGB图像划分为N×N的网格，若抓取圆的中心位于某个网格内，则该网格负责检测该抓取圆，令该网格的抓取置信度标签为1，通过四维向量G＝{x,y,d,θ}表示抓取圆，其中(x,y)表示旋转直径圆的圆心坐标，d表示旋转直径圆的直径，θ表示抓取圆的旋转直径与水平直径的夹角，即目标物在图像中的旋转角度，按照所述旋转直径圆的抓取表示方式构建图像的标签；否则，令该网格的抓取置信度标签为0。