[发明专利]一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型

说明书

本发明公开了一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型，该模型提出使用Transformer机制提取输入图像的特征，然后使用全卷积神经网络预测图片中所有可能的抓取位置。通过将Transformer与卷积神经网络结合，该模型同时融合了Transformer机制优秀的全局建模能力和卷积神经网络的归纳偏置能力。从而使得本模型不需要多次下采样操作在模型的初始阶段就能够对输入图像的全局特征进行建模和相关性计算，避免了传统模型由于下采样造成的特征丢失；此外，本模型同时融合了卷积神经网络的归纳偏置能力，降低了模型训练过程中对大尺寸数据集的依赖。因此，本模型能够更好的对杂乱堆叠场景的特征进行建模，并且可以在小规模数据集上训练出令人满意的结果。基于以上优势，本发明提出的模型可以广泛的应用于各种常见的生活场景的抓取检测任务，具有更强的鲁棒性和环境适应性。

技术领域

本发明涉及深度学习、图像识别以及机器人控制领域，是一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型。

背景技术

抓取操作是机器人的一项基本技能，它是机器人执行许多其他重要任务的基础。然而在物体杂乱且堆叠摆放的日常生活场景中机器人的抓取仍然面临很大的挑战。其中最重要的影响因素是当前机器人对环境的感知能力不足，难以准确的建模工作场景的特征并映射为相应的抓取配置。

当前在机器人抓取检测领域，基于深度学习的抓取检测方法已经逐渐成为机器人感知环境特征并检测抓取配置的主要方法。传统的基于卷积神经网络(CNNs)的深度学习模型对于单目标场景具有很好的适应性和较高的抓取检测精度，但是对于杂乱且堆叠的多目标场景传统的CNNs模型依然存在特征丢失，全局建模能力不足等问题，难以准确预测每个物体的抓取位置。

因此，如何提供一种高效的特征提取方法及建模方法，使得机器人能够在杂乱且堆叠的工作场景中准确的检测出不同物体的抓取位置以及抓取位置对应的物体类别，是提升机器人操作过程自主化，智能化过程中亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型，该模型采用Transformer模块作为主干网络的基本单元提取输入图像的特征并对特征进行编码；编码后的特征经过多尺度特征融合操作后，使用全卷积神经网络对特征进行解码生成抓取位置以及其对应的物体类别，如图1所示。其中，Transformer机制具有很强的全局特征提取能力，因此能够很好的适应杂乱堆叠的复杂工作场景。此外，本发明采用全卷积神经网络作为解码器，在弥补了Transformer机制归纳偏置能力不足的基础上，同时预测每个特征点的抓取位置以及该抓取位置所对应的物体类别。因此，使得机器人在抓取过程中具备很强的自主性，并且可以根据任务需求抓取指定类别的物体，可以有效提高机器人操作的智能化水平。

一方面，本申请实施例提供的一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型，包括：

抓取检测数据集(VMRD抓取检测数据集)的预处理；

进一步地，所述步骤对抓取检测数据集(VMRD抓取检测数据集)的预处理，为对VMRD抓取检测数据集进行数据增强，特征编码操作。

进一步地，所述步骤对抓取检测数据集的数据增强操作包括对数据集中图像的裁剪、随机旋转、亮度变化等，从而扩大数据集的规模，增强数据集中不同物体在不同位置、不同姿态以及不同亮度等条件下的多样性。