[发明专利]一种基于端对端网络的机器人视觉推理抓取方法

权利要求书

1.一种基于端对端网络的机器人视觉推理抓取方法，其特征在于，包括以下步骤：

步骤一：通过RGB图像传感器获取当前包含目标物体的场景图像；

步骤二：通过深度卷积网络算法，提取场景图像的图片特征；

步骤三：通过感兴趣区域提取网络，获取场景图像的感兴趣区域；

步骤四：基于感知网络，通过物体检测器和抓取检测器，获取当前场景中所有目标物体的位置和对应的抓取部位；

步骤五：以步骤三的物体检测结果的感兴趣区域为基础，完成当前场景操作关系树的构建过程；

步骤六：根据物体检测和抓取检测结果，结合场景操作关系树，规划抓取顺序，并实施抓取。

2.根据权利要求1所述的基于端对端网络的机器人视觉推理抓取方法，其特征在于：步骤二具体过程如下：

使用在视觉操作关系检测数据集上训练获取的深度卷积网络算法，并以RGB图像为输入，进行网络的前向传播过程，通过多层卷积和五层池化，以第五卷积阶段的输出C5作为最终的图像特征。

3.根据权利要求2所述的基于端对端网络的机器人视觉推理抓取方法，其特征在于：步骤三具体过程如下：

以第五卷积阶段的输出C5作为RPN的输入，通过卷积操作，获取感兴趣区域候选项，包括定位和置信度；通过非最大值抑制技术合并重合度较大的感兴趣区域候选项；在剩余所得的所有候选项中，选取置信度较高的感兴趣区域候选项作为提取网络的输出。

4.根据权利要求2所述的基于端对端网络的机器人视觉推理抓取方法，其特征在于：步骤四具体过程如下：

以第五卷积阶段的输出C5和步骤二中所得的感兴趣区域同时输入物体检测器，得到场景物体检测结果，包括物体定位和类别置信度；以第五卷积阶段的输出C5和步骤二中所得的感兴趣区域同时输入抓取检测器，在每个感兴趣区域中提取属于该感兴趣区域的抓取部位，包括抓取部位的定位和置信度。

5.根据权利要求2所述的基于端对端网络的机器人视觉推理抓取方法，其特征在于：步骤五具体过程如下：

使用第五卷积阶段的输出C5和物体检测结果作为输入，通过物体对池化层，获取任意物体对的特征组合，并将其送入视觉操作关系推理网络，完成对场景中任意物体对间关系的推理和判定，最终通过融合所有物体对间的关系，完成场景中操作关系树的构建。

6.根据权利要求1所述的基于端对端网络的机器人视觉推理抓取方法，其特征在于：所述的深度卷积网络算法为ResNet-101网络或者VGG16网络。