[发明专利]基于语义感知特征增强的短波红外舰船检测方法及系统

说明书

本发明公开了一种基于语义感知特征增强的短波红外舰船检测方法及系统，包括：获取海上短波红外图像；得到增强后的短波红外全局特征和实例特征；将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。本发明通过语义感知，能够更加深入地挖掘短波红外实例特征的空间信息和语义信息，特征合并模块充分考虑了短波红外全局特征和实例特征的空间关系，合成更好的特征表示。

技术领域

本发明涉及目标检测技术领域，尤其涉及一种基于语义感知特征增强的短波红外舰船检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目标检测是计算机视觉的基础任务之一，目标检测旨在图像中找到感兴趣的目标并且对其进行定位和分类。目标检测在水面交通、海上监视侦查和海事目标探测领域具有广泛的应用。在海洋场景下，环境复杂多变，常有大雨、雾霭等恶劣天气和极端光照条件，可见光摄像机在这种情况下无法正常工作。而短波红外波长能够“绕过”烟尘、雾霭中的细小颗粒，因而相比可见光，它具有更好的细节分辨和解析能力，此外由于夜间大气辉光几乎处于短波红外波段，因此短波红外波长具有较好的夜视能力。

基于深度学习的目标检测算法受到了众多研究人员的关注，越来越多的框架和算法被提出。主要包括two-stage的目标检测算法和one-stage目标检测算法。Two-stage目标检测算法先获得候选框，然后采用边界框回归算法对候选框进行修正，同时预测目标的类别。One-stage目标检测算法没有产生候选框的阶段，直接预测目标的位置和类别。残差网络、多尺度检测和跨尺度特征融合等技术的提出，大大提高了目标检测网络提取和利用特征的能力。但大部分基于深度学习的目标检测算法都是针对可见光图像而提出的，不适用于短波红外图像，这是因为相比于可见光图像，短波红外图像的分辨率低，目标的纹理信息少，易受阳光影响，信噪比低。

不同类别的舰船目标之间特征比较相似，在对目标实例进行特征增强后可能会发生失配，导致目标的类别层次信息一定程度上丢失，比如，类别一的短波红外实例特征在经过增强后，其数据分布可能与可见光中类别一的实例特征存在差异，严重的情况下甚至与其他类别的可见光实例特征相似。

发明内容

为了解决上述问题，本发明提出了一种基于语义感知特征增强的短波红外舰船检测方法及系统，能够挖掘出舰船目标的高层语义信息，并且将之作为语义编码输入生成器的中间卷积层辅助进行特征增强，在增强时以可见光图像作为辅助数据，增强后的特征接近可见光图像的舰船特征，提高目标检测的精度。

在一些实施方式中，采用如下技术方案：

一种基于语义感知特征增强的短波红外舰船检测方法，包括：

获取海上短波红外图像；提取短波红外图像的多尺度特征，对多尺度特征进行融合，得到短波红外图像的全局特征；

预测短波红外图像全局特征的候选框，根据候选框在全局特征图上进行多尺度池化得到实例特征；

将短波红外图像的全局特征输入训练好的第一生成对抗网络，得到增强后的短波红外全局特征；

将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；

将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。

在另一些实施方式中，采用如下技术方案：

一种基于语义感知特征增强的短波红外舰船检测系统，包括：