[发明专利]一种基于三级卷积神经网络的物体抓取检测方法

说明书

本发明公开了一种基于三级串联卷积神经网络的物体抓取检测方法，包括：1获取数据集；2构建第一级、第二级和第三级卷积神经网络的网络结构，并训练卷积神经网络；3利用训练后的三级串联卷积神经网络获取目标物的预选抓取框和预选抓取框的评判值；4通过评判值获取最佳抓取框；5确定所述目标物的位置与姿态。本发明能提高抓取框的准确度，实现对未知物体的高准确度抓取。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于三级卷积神经网络的物体抓取检测方法。

背景技术

物体抓取操作作为机器人的基本功能，一直是机器人领域的一个重要的研究方向。为了提高物体抓取的成功率和准确度，很多研究者将物体的抓取点作为研究对象，通过选择物体的最佳抓取点来提高抓取的成功率和准确度。在深度学习提出来前，大多数情况下都是通过手工设计特征或通过物体的三维模型来确定物体的抓取点，这样获得的抓取点准确度较高，但只能针对特殊物体或已知三维模型的物体，而不能获得未知物体的抓取点。深度学习提出后，虽然可以利用卷积神经网络对未知物体进行检测，但是抓取点的正确率相对较低，需要进一步提高，因此，目前需要进一步改善获取最佳抓取点的方法，使得物体抓取不受未知物体限制，并具有较高的抓取成功率和准确度。

发明内容

本发明针对目前对物体的抓取检测不足之处，提供一种基于三级卷积神经网络的物体抓取检测方法，以期能提高抓取框的准确度，实现对未知物体的高准确度抓取检测。

本发明为解决技术问题采用如下技术方案：

本发明一种基于三级卷积神经网络的物体抓取检测方法，是应用于由机器人、摄像机、目标物所组成的物体抓取操作中，其特点是，所述物体抓取检测方法是按如下步骤进行：

步骤1：获取第一组数据集和第二组数据集，所述第一组数据集用于训练第一级卷积神经网络，所述第二组数据集用于训练第二级和第三级卷积神经网络；

步骤2：构建第一级、第二级和第三级卷积神经网络，并利用所述第一组数据集和第二组数据集离线训练所述第一级、第二级和第三级卷积神经网络的参数，从而得到卷积神经网络模型；

步骤3：由所述摄像机获取所述目标物的图像，并作为所述卷积神经网络模型的输入；

步骤4：基于第一级卷积神经网络，通过滑动窗的方式对所述目标物的图像空间进行搜索，寻找出所述目标物的初步位置；

步骤5：基于第二级卷积神经网络，通过滑动窗的方式对所述初步位置进行搜索，并确定若干个抓取矩形框作为预选抓取框；

步骤6：利用第三级卷积神经网络对所述预选抓取框进行精确评判，获取每个预选抓取框的评判值；

步骤7：根据预选抓取框的评判值对预选抓取框进行降序排序，并选出排名前N的预选抓取框；获取N个预选抓取框的各个中心点，并对所述各个中心点求取中心平均值，根据所述中心平均值分别得到N个预选抓取框的均方差，并选择均方差最小的预选抓取框作为最优抓取框；

步骤8：使用所述最优抓取框确定所述目标物的位置与姿态。

本发明所述的基于三级卷积神经网络的物体抓取检测方法的特点也在于：

步骤1中的第一组数据集和第二组数据集按如下步骤获取：

步骤1.1：利用所述摄像机获取各种抓取物体的RGB图像，记任意一张RGB图像为u；

步骤1.2：对RGB图像u进行网格划分，获得n张相同大小的矩形图片，记任意一张矩形图片为r；若所述矩形图片r包含抓取物，则令矩形图片r的标签为1；若所述矩形图片r不包含抓取物，则令矩形图片r的标签为0，从而得到所有带标签的矩形图片构成第一组数据集；