[发明专利]基于深度卷积神经网络的物体识别与抓取位置检测方法

说明书

本发明属于服务机器人技术领域，具体涉及一种基于深度卷积神经网络的物体识别与抓取位置检测方法，旨在解决现有物体识别与抓取位置检测技术实时性仍需进一步提升的问题，本发明方法预先构建并训练包含区域建议网络、全连接层、分类器、第一回归器、第二回归器的深度卷积神经网络，并基于该网络进行物体识别、定位矩形框的获取、抓取位置检测。本发明可以有效提升物体识别与抓取位置检测的实时性。

技术领域

本发明属于服务机器人技术领域，具体涉及一种基于深度卷积神经网络的物体识别与抓取位置检测方法。

背景技术

随着科技的不断进步，服务机器人朝着智能化的方向快速发展，并在家庭服务、安保、医疗康复等领域发挥着越来越重要的作用。物体抓取技术对机器人提供优质服务来说是必不可少的。作为物体抓取技术的重要一环，物体识别和抓取位置检测，即准确识别出物体并确定出物体上可抓取的位置，一直是学者特别关注的研究方向。就感知传感器来说，为完成物体识别和抓取位置检测，视觉传感器以其能够提供丰富的信息而成为首选。

传统的物体识别方法基于手工设计的特征，其缺陷是手工设计的特征需要丰富的专业知识且较为耗时，对物体形态和观测角度、光照强度等变化的适应性较差。深度学习以其强大的表征和建模能力被广泛应用；其中，深度卷积神经网络是研究的热点，通过监督或非监督的方式，逐层自动地学习物体的特征表示，避免了手工设计特征的繁琐低效，常用的深度卷积神经网络模型包括ZFNet网络、VGG网络等。目前常见的基于深度卷积神经网络的物体检测方法有基于区域建议的方法(Faster R-CNN等)和无区域建议的方法(例如YOLO、SSD等)，其中Faster R-CNN以其较高的精度受到关注。随着深度卷积神经网络在图像分类和目标检测等领域的有效进展，已有研究学者将其应用于抓取位置检测中。现有的物体识别与抓取位置检测方案，通常需要两个深度卷积神经网络：物体识别卷积神经网络用于识别出物体、抓取位置检测卷积神经网络用于检测出物体上可抓取的位置，这两个卷积神经网络是通过级联的方式进行连接的，然而，级联物体识别卷积神经网络与抓取检测卷积神经网络的实现方式的实时性还有待提高。

因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有物体识别与抓取位置检测技术实时性仍需进一步提升的问题，本发明提出了一种基于深度卷积神经网络的物体识别与抓取位置检测方法，基于预先构建并训练的包含区域建议网络、全连接层、分类器、第一回归器、第二回归器的深度卷积神经网络，该方法包括以下步骤：

步骤S10，服务机器人通过安装在自身的Kinect传感器获取原始彩色图像，作为第一图像；

步骤S20，将所述第一图像压缩为第二图像；所述第二图像的预设尺寸为M×N；

步骤S30，基于所述区域建议网络提取所述第二图像的特征图G，并对所述特征图G进行候选矩形框的提取，构建第一候选矩形框集合；

步骤S40，利用感兴趣区域池化对所述第一候选矩形框集合中的各候选矩形框在特征图G上所对应的特征进行处理，得到第一特征向量；第一特征向量经所述全连接层进行处理后得到第二特征向量；

步骤S50，将所述第一候选矩形框集合中的各候选矩形框所对应的第二特征向量，分别送入所述分类器中进行类别判定，并构建第二候选矩形框集合；

步骤S60，利用所述第一回归器对第二候选矩形框集合中的各候选矩形框分别进行调整，得到各候选矩形框所对应的定位矩形框，构建定位矩形框集合；

步骤S70，对于所述定位矩形框集合中的各定位矩形框，利用所述第二回归器分别计算各定位矩形框所对应物体的抓取位置。

在一些优选实施例中，步骤S50中对所述第一候选矩形框集合中的各候选矩形框进行类别判定的步骤包括：