[发明专利]一种基于端对端网络的机器人视觉推理抓取方法

说明书

本发明公开了一种基于端对端卷积神经网络的机器人视觉推理抓取方法。通过以RGB图片为输入，以一次卷积网络的前向传播，同时完成物体检测、操作关系推理和抓取部位检测。通过提取物体的感兴趣区域，完成对每个物体上的抓取部位进行检测。通过视觉操作关系推理，获取场景的视觉操作关系树，对正确的抓取顺序进行决策。本发明与之前的发明相比，速度更快，准确率和鲁棒性更高。通过使用深度学习和深度特征对场景进行理解，提升了方法的有效性和可靠性。

技术领域

本发明属于计算机视觉与智能机器人领域，具体涉及一种基于端对端网络的机器人视觉推理抓取方法。

背景技术

随着计算机视觉技术的快速发展，对于非结构化环境的理解和感知技术日新月异，为机器人在复杂场景和非结构化环境中的作业提供了基础。传统的机器人抓取方法使用场景点云为输入，通过融合多种传感器信息，完成对目标物体的三维建模，并使用分析和优化的方法，寻找力封闭或形封闭的抓取部位和配置，完成抓取。然而，这类抓取方法不能适应一些应用场景的需求，尤其是对于完整环境信息获取较为困难的场景。在这类场景中，由于场景环境信息过于复杂等因素，对于完整场景的三维重建难度较大，并且需要耗费大量的计算资源，不能满足实时性等需求。其次，由于传统的分析和优化方法对环境的分析能力的局限性，对于复杂的非结构化场景，往往不能取得令人满意的性能。近期的研究表明深度学习对于非结构化环境的处理有很大的优势，但在基于深度学习的方法中，处理复杂堆叠场景的智能抓取算法往往采用级联各部分(如物体检测、抓取部位检测、抓取顺序推理等部分)来完成。使用这类方法时，由于系统各部分通过级联完成最终任务，因此误差在各部分间会存在累积效应，最终使算法性能下降明显。为此，如何设计一种端对端的适用于复杂场景和非结构化环境下的物体抓取算法，以安全、可靠、快速的方式完成对目标物体的操作和抓取，并减小由于部分间级联造成的误差累积，提升抓取算法的性能和抓取的准确率和鲁棒性，是目前的突出问题。

发明内容

本发明的目的在于克服上述不足，提供一种基于端对端网络的机器人视觉推理抓取方法，能够适应于多目标物体的复杂场景的作业任务，在保证作业执行过程中的安全性和可靠性的同时，克服由于级联系统造成的误差累积效应，提升方法的性能，同时满足实时性的需求。

为了达到上述目的，本发明包括以下步骤：

一种基于端对端网络的机器人视觉推理抓取方法，包括以下步骤：

步骤一：通过RGB图像传感器获取当前包含目标物体的场景图像；

步骤二：通过深度卷积网络算法，提取场景图像的图片特征；

步骤三：通过感兴趣区域提取网络，获取场景图像的感兴趣区域；

步骤四：基于感知网络，通过物体检测器和抓取检测器，获取当前场景中所有目标物体的位置和对应的抓取部位；

步骤五：以步骤三的物体检测结果的感兴趣区域为基础，完成当前场景操作关系树的构建过程；

步骤六：根据物体检测和抓取检测结果，结合场景操作关系树，规划抓取顺序，并实施抓取。

作为本发明的进一步改进，步骤二具体过程如下：

使用在视觉操作关系检测数据集上训练获取的深度卷积网络算法，并以RGB图像为输入，进行网络的前向传播过程，通过多层卷积和五层池化，以第五卷积阶段的输出C5作为最终的图像特征。

作为本发明的进一步改进，其特征在于：步骤三具体过程如下：

以第五卷积阶段的输出C5作为RPN的输入，通过卷积操作，获取感兴趣区域候选项，包括定位和置信度；通过非最大值抑制技术合并重合度较大的感兴趣区域候选项；在剩余所得的所有候选项中，选取置信度较高的感兴趣区域候选项作为提取网络的输出。

作为本发明的进一步改进，步骤四具体过程如下：