[发明专利]一种基于深度学习的三维目标识别与最优抓取方法

说明书

本发明涉及一种基于深度学习的三维目标识别与最优抓取方法。该方法，首先，采用Kinect相机获取图像；然后，在第一级构造一个改进的faster RCNN模型，对图像中的目标物体进行识别和定位，分割出目标物体所在的区域并进行相应的旋转；最后，在第二级构造一个新的faster RCNN模型，获取目标物体最优抓取部位的坐标和旋转角度，实现目标物体的最优抓取。本发明方法在目标识别部分对模型进行了改进，加强了对成像小的目标物体的识别和定位，并采用基于二分法的方法确定目标物体的姿态，减少运行时间，提高精度；该方法先对整个目标物体进行检测，再从检测的区域内寻找物体的最优位姿，不仅缩小了寻找特征的范围，也降低了识别出错的概率。

技术领域

本发明涉及机器人视觉技术领域，具体涉及一种基于深度学习的三维目标识别与最优抓取方法。

背景技术

随着机器人的快速发展及机器视觉的应用，机器人抓取也产生了很多变化。从原来简单的抓取到现在的智能识别、最优抓取和对外界环境做出反应。这些变化都象征着机器人正逐渐向智能化方向发展，使得机器人的各种行为越来越像人类。

在机器视觉领域，目标检测和最优抓取都是近年来的研究热点。最优抓取要求机器人像人一样，不仅可以识别目标物体的类别，还要找到目标物体比较容易抓取的位姿。传统的抓取位姿方法采用的是传统的特征提取方法来处理图像信息，这些方法一般由设计者针对特定问题手工设计而成，因受到目标物体的形状、大小、角度变化、外部光照等因素的影响，因而所提取的特征泛化能力不强，鲁棒性较差，难以适应新物体。与传统提取特征的方法相比，深度学习的优势在于提取特征的时候不需要人为进行设定某种特征，而是采用一种通用的学习过程使模型从大规模数据中学习目标物体的特征。因此将深度学习技术应用于机器人的目标检测和最优抓取中。

目前在基于深度学习的机器人最优抓取领域中，有许多方法可以实现目标物体的最优抓取，但难以实现成像较小的目标物体的最优抓取，且处理时间较长。

发明内容

本发明的目的在于提供一种基于深度学习的三维目标识别与最优抓取方法，解决难以实现成像较小的目标物体的最优抓取及处理时间较长的问题。

为实现上述目的，本发明的技术方案是：一种基于深度学习的三维目标识别与最优抓取方法，包括如下步骤：

步骤S1、采用Kinect相机获取图像，并进行图像预处理；

步骤S2、在第一级构造一个改进的faster RCNN模型，对图像中的目标物体进行识别和定位，分割出目标物体所在的区域并进行相应的旋转；

步骤S3、在第二级构造一个新的faster RCNN模型，获取目标物体最优抓取部位的坐标和旋转角度，实现目标物体的最优抓取。

进一步的，在步骤S1中，所述图像预处理，包括对深度图像进行轮廓提取，并将轮廓图像、彩色图像和深度图像分别按预定比例的权值进行像素值相加，得到融合图像。

进一步的，在步骤S2中，所述改进的faster RCNN模型，包括依次连接的卷积层1、池化层1、卷积层2、卷积层3、卷积层4、池化层2、卷积层5、融合层，所述卷积层3还与融合层连接，同时，为了能识别成像小的物体，对卷积层2和卷积层4的参数进行调整，即卷积层2的参数调整为：卷积核大小为3*3，边缘扩展数为1，步长为1；卷积层4的参数调整为：卷积核大小为5*5，边缘扩展数为2，步长为2

进一步的，在步骤S2中，所述在第一级构造一个改进的faster RCNN模型，对图像中的目标物体进行识别和定位的具体实现过程为：将经步骤S1进行图像预处理得到的融合图像，输入改进的faster RCNN模型，经过5层卷积层的提取和特征图像融合，然后与训练好的类别特征进行比较，得到目标物体的类别及位置。

进一步的，在步骤S2中，分割出目标物体所在的区域并进行相应的旋转的具体过程为：