[发明专利]一种基于级联神经网络的机器人混杂物体五维抓取方法

说明书

本发明属于智能机器人领域，具体涉及到一种基于级联神经网络的机器人混杂物体五维抓取方法。首先使用卷积神经网络对输入图像进行掩膜实例分割，提取适合抓取实例特征区域；接着以特征区域对应RGB信息作为抓取角度评估模块输入进一步评估抓取角度值；然后，以特征区域对应深度信息作为抓取置信度评估区域，进行反卷积获得原始图像的抓取置信度；最后选取抓取置信度最高的点作为抓取点，结合预测抓取角度值，通过对机械臂的运动规划和控制完成抓取任务。本发明提供的级联神经网络机器人混杂物体抓取方法能够有效的解决混杂物体的高效高精度抓取和分拣问题，提高机器人与人的交互能力。

技术领域

本发明属于智能机器人领域，具体涉及到一种基于级联神经网络的机器人混杂物体抓取方法。

背景技术

机器人被广泛地应用于工业生产和医疗等领域中，如零件装配，工件分拣等。机器人抓取是机器人与外界交互的重要途径。然而，机器人的操作环境往往是变化的，如不规则的物体形状或者物品的堆叠、截断等情况往往会引起机器人抓取成功率低甚至抓取失败。因此，如何实现在混杂物体环境下机器人高精度快速抓取仍然具有很大的挑战。目前，机器人抓取方法主要为分析法和数据驱动法。分析法采用手工设计提取物体特征或根据物体的三维模型来获取物体的最优抓取位置，但是该方法泛化性较差，难以适用于未知物体；与基于分析法的机器人抓取方法相比，数据驱动法基本能够在混杂物体环境下抓取物体。但抓取物的形状结构不同和传感器噪声等的不确定性，会导致在非结构化环境下有效地抓取不同种类的物体变得很困难。目前基于数据驱动的机器人抓取方法大多基于RGB、深度或RGB-D图像来生成矩形抓取区域，大多此类抓取方法受限于物体遮挡、截断等情况的影响，难以完成自主精准抓取。在实际混杂物体抓取环境下，如何快速的准确的高质量的获取抓取物的抓取位置是当前机器人抓取算法的主要突出问题。基于级联神经网络的机器人混杂物体抓取方法可对机器人抓取角度和抓取位置进行精细估计，适用于机器人混杂物体自主抓取应用。

发明内容

本发明主要解决的问题是克服上述的不足，针对目前机器人抓取任务重，混杂物体环境下抓取精度和实时性低等问题，提供一种基于级联神经网络的机器人混杂物体抓取方法，可获得混杂环境下物体的抓取区域和对机器人抓取物的角度和抓取位置进行精细评估，并提取抓取点和抓取姿态保证机器人能够准确的抓取物体，适用于机器人混杂物体自主抓取应用。

为了达到上述目的，本发明采用以下技术手段。

一种基于级联神经网络的机器人混杂物体抓取方法，包括以下步骤：

针对混杂不规则物体抓取环境，构建五维抓取位姿表示方法，包含抓取物的抓取点、抓取角度和抓取权重。五维抓取位姿表示方法定义为：

G＝(u,v,h,θ,Q) (1)

其中，u和v表示图像坐标系中的坐标h表示深度，θ表示抓取角度，Q表示抓取置信度；

以包含目标物体的原始观测图作为输入，使用深度卷积神经网络的掩膜分支进行实例分割，提取适合抓取物的实例特征，去除环境背景，对输入中的无关噪声进行滤波处理，以获得可能适合抓取的目标区域。

以适合抓取的目标区域作为特征输入，使用Mask-RCNN掩膜方法的外接最小邻接矩形生成抓取框，作为抓取的目标位置域。

在获取抓取框之后，需要进一步评估抓取角度以适应抓取物体姿态的变化。以抓取目标位置域内的抓取特征的RGB图像作为输入，通过抓取深度卷积神经网络的抓取角度评估网络计算抓取框的抓取角度，获得抓取框合适的抓取角度。卷积神经网络包含4层卷积层和1层全连接层，卷积层中Relu函数作为激活函数，以损失函数来评价抓取预测角度与真实抓取角度间的误差。