[发明专利]一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型

权利要求书

1.一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型，其特征在于，所述方法包括：

抓取检测数据集(VMRD抓取检测数据集)的预处理；

基于Transformer机制的抓取检测模型的搭建；

使用VMRD数据集对模型进行训练及性能测试。

2.根据权利要求1所述的一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型，其特征在于，对抓取检测数据集(VMRD抓取检测数据集)的预处理，具体包括：

所述抓取检测数据集为当前已经公开的VMRD数据集，该数据集中的图像包含多个目标物体且物体之间随机的杂乱堆叠摆放。

所述对抓取检测数据集的预处理，其中预处理过程包括图像和标签的随机旋转、图像尺寸的随机裁剪、图片亮度的随机调整以及标签的编码操作。

3.根据权利要求1所述的一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型，其特征在于，搭建基于Transformer机制的抓取检测模型，具体包括：

所述基于Transformer机制的抓取检测模型为编码器-解码器结构，其中编码器以Transformer模块为基本单元，对输入图像进行全局的特征提取及特征编码操作；全卷积神经网络为模型的解码器，对编码器生成的特征图进行多尺度特征融合操作，最后根据融合后的特征图预测输入图像中所有可能的抓取位置，以及该抓取位置对应的物体类别。

4.根据权利要求1所述的一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型，其特征在于，使用VMRD数据集对模型进行训练及性能测试，具体包括：

所述VMRD数据集为经过数据预处理之后的VMRD抓取检测数据集，并且将数据集按照4:1的比例随机划分为训练集和测试集。

所述对模型进行训练和测试其中模型中以Transformer模块为基本单元的解码器为在ImageNet数据集上预训练的模型。

所述对模型进行训练为使用VMRD数据集中的训练集对模型进行训练，训练过程主要用于微调以Transformer模块为基本单元的编码器参数以及确定解码器参数。

所述对模型进行测试为使用VMRD数据集的测试集，验证模型在杂乱场景中对物体抓取检测以及识别等任务上的性能。

所述对抓取检测数据集的预处理为对图像进行随机旋转以及裁剪，并且对标定的信息进行转换和编码；所述基于Transformer机制的抓取检测模型的搭建，为使用Transformer的基本模块作为模型的解码器的基本单元，使用全卷积神经网络并结合多尺度特征融合操作作为模型的解码器，最后通过解码器预测融合后的特征图中每个特征所对应的抓取配置信息以及类别信息；所述使用VMRD数据集对模型进行训练及性能测试，其中训练为使用VMRD抓取检测数据集训练模型从而对模型的参数进行微调和优化，使其更适应抓取检测任务的需求；测试为使用VMRD的测试集测试模型的性能。