[发明专利]基于异构深度网络融合的动态目标抓取姿态快速检测方法

说明书

本发明属于目标检测与机器人操作领域，公开了基于异构深度网络融合的动态目标抓取姿态快速检测方法。所述方法包括：1.动态目标样本集的制作方法；2.异构深度网络的训练方法；3.异构深度网络的融合机制；4.抓取姿态确定方法。待检测的动态目标物体，通过深度相机获取其RGB图像和深度图，然后将RGB图和深度图进行I型深度网络的目标识别，获取目标的边界框和中心区域的点云信息，然后通过异构融合机制选取合适的点云输入到II型深度网络中进行抓取姿态识别，进而得到最终的抓取姿态检测结果。该方法可以充分发挥不同深度网络的优势，可快速提取动态目标的核心特征，进而实现高效稳定的抓取姿态检测与识别。

技术领域

本发明属于目标检测与机器人操作领域，涉及一种基于异构深度网络融合的动态目标抓取姿态快速检测方法。

背景技术

视觉环境下的动态目标抓取操作是智能机器人领域非常具有挑战性的一个研究方向。其中，动态目标的抓取姿态检测是最为关键和核心的内容。抓取姿态主要包括目标物体的三维空间坐标和对应的抓取边界，针对的是常用的二指或三指机械手。

视觉条件下的抓取姿态检测主要包括四个步骤：(1)特征提取，(2)目标识别，(3)抓取姿态识别，(4)抓取姿态确定。当前的主流方法都是遵循先进行目标识别，然后将目标区域进行图像分割，从而继续进行抓取姿态识别与确定。例如，对于目标识别可采用视觉特征描述子或高精度动态相机，抓取姿态一般采用几何分析等。然而，基于特征描述子的方法对光照、环境、物体的纹理特征等具有较多限制，适应性较差，检测精度和实时性均很难满足实际的工业需求；抓取姿态的几何分析方法耗时较长，实时性较差，也容易受物体形状影响。同时，高精度的测量仪器往往价格昂贵，对使用环境较为苛刻，难以大范围应用。此外，不同于静态目标抓取，动态目标对抓取姿态的检测精度、实时性和安全性都有较高的要求，尤其是当测量误差较大或实时性较差时，容易导致设备损坏、财产损失等安全事故，这无疑增加了检测的难度。随着深度神经网络在机器视觉领域的快速发展，越来越多的研究人员开始使用深度神经网络来提取特征信息进行目标识别，或实现抓取姿态识别。但这些基于深度神经网络的方法在具体应用上较为单一化，很难充分发挥不同神经网络在识别领域的优点，难以实现快速准确的抓取姿态检测。

发明内容

本发明目的是提供一种基于异构深度网络融合的动态目标抓取姿态检测方法，通过不同结构类型的融合，充分发挥不同类型神经网络的特色与优点，进而为动态目标抓取姿态的确定提供快速、准确和高鲁棒性的检测结果，作为后续机器人实现自主操作的基础。

本发明提供一种基于异构深度网络融合的动态目标抓取姿态快速检测方法，包括以下步骤：

S1：通过视觉传感器获取目标场景的RGB图像和深度图像；

S2：对所获得的RGB图像进行目标物体标注和抓取边界标注，分别作为目标训练集T₁和抓取姿态训练数据集T₂；

S3：将训练集T₁输入I型深度网络，进行迭代训练，当loss函数低于0.5，则训练结束，作为目标识别网络；将训练集T₂输入II型深度网络进行迭代训练，当loss函数低于0.1，则训练结束，作为抓取姿态识别网络；