[发明专利]一种基于Transformer和融合注意力机制的目标检测方法及系统

说明书

本发明提出了一种基于Transformer和融合注意力机制的目标检测方法，包括：获取待检测图像进行预处理；将预处理后的待检测图像输入至训练好的目标检测模型中，输出检测结果；其中，所述目标检测模型包括Swin Transformer模块、注意力融合模块和检测模块，所述Swin Transformer模块用于提取待检测图像的全局特征，所述注意力融合模块用于局部特征提取，并将全局特征和局部特征采用跨层级联的方式进行融合，所述检测模块用于根据融合后的特征输出检测结果。融合局部感受野与Transformer的全局信息，以进一步提升局部特征与全局信息融合的能力，增强低信噪比目标的检测效果。

技术领域

本发明属于深度学习计算机视觉相关技术领域，尤其涉及一种基于Transformer和融合注意力机制的目标检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着近两年深度学习技术的发展，越来越精良的模型结构应运而生，2020年以前，图像视觉领域大多采用卷积神经网络(CNN)用于图像特征提取，卷积神经网络采用分层方式进行特征表示，相较于自然语言处理(NLP)采用序列进行特征表示，CNN需要逐层积累，由浅入深提取更高级的语义信息特征。即便如此CNN所获取的实际感受野仍远小于理论感受野，不利于特征信息的捕获，反而带来了计算量的剧增。为此不少学者开始尝试将NLP领域应用的Transformer应用于计算机视觉(CV)领域。2020年Google提出ViT模型验证了Transformer模型在图像分类领域的有效性。由此，基于Transformer的CV时代得以展开。Swin Transformer模型提出于CVPR2021，该模型通过shifted windows来计算，针对视觉实体的尺度变换以及图像高分辨问题，借助Shifted Windows Multi-Head Self-Attention(SW-MSA)概念，实现信息在相邻窗口间的传递，加强上下文联系，Swin Transformer在性能上展现了较好的优势，但其更倾向于获取图像的全局特征，对于局部信息的提取能力不强，而目标检测任务中存在较多低信噪比的目标特征，为此存在局部边缘纹理等特征信息提取能力弱的情况。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于Transformer和融合注意力机制的目标检测方法及系统，采用Swin Transformer技术作为骨干网络应用于目标检测任务中。同时提出AGFF方法融合局部感受野与Transformer的全局信息，以进一步提升局部特征与全局信息融合的能力，增强低信噪比目标的检测效果。同时采用YOLOX检测器完成检测任务。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：一种基于Transformer和融合注意力机制的目标检测方法，包括：

获取待检测图像进行预处理；

将预处理后的待检测图像输入至训练好的目标检测模型中，输出检测结果；

其中，所述目标检测模型包括Swin Transformer模块、注意力融合模块和检测模块，所述Swin Transformer模块用于提取待检测图像的全局特征，所述注意力融合模块用于局部特征提取，并将全局特征和局部特征采用跨层级联的方式进行融合，所述检测模块用于根据融合后的特征输出检测结果。

本发明的第二个方面提供一种基于Transformer和融合注意力机制的目标检测系统，包括：

图像获取模块：获取待检测图像进行预处理；

目标检测模块：将预处理后的待检测图像输入至训练好的目标检测模型中，输出检测结果；