[发明专利]一种交叉引导融合的RGB-T图像显著性检测系统

说明书

一种交叉引导融合的RGB‑T图像显著性检测系统，属于计算机视觉图像检测技术领域。特征提取模块提取彩色和热红外图像的特征，三级解码块中的每个模块由以两个模态信息各自为主要引导的两部分所组成，每一部分独有一个引导融合(GFM)模块，同时交叉共有跨级增强(CLE)模块和全局辅助增强(GAE)模块。GFM通过使用单一模态信息为主要引导，另一模态信息辅助增强，实现对单一模态信息的深入挖掘和跨模态信息的充分融合。CLE使用前一级引导融合后的特征来增强当前级的信息，GAE是对逐级引导好的信息进一步整合，同时，在最后一级解码块产生最后的显著性图。该系统可深入挖掘两模态信息，更好地融合两模态特征，提高显著性检测效果。

技术领域

本发明涉及图像显著性检测技术领域，具体涉及一种交叉引导融合的RGB-T图像显著性检测系统。

背景技术

显著性目标检测的目的是检测和分割图像或者视频中在视觉上最吸引人注意的目标或区域。显著性目标检测是机器视觉领域的一个基础性的课题，作为图像理解、动作识别、视频检测和分割、语义分割、目标跟踪、图像检索、行人再识别等的预处理步骤，在近些年受到了广泛的关注。

尽管基于RGB图像即彩色图像的显著性检测已经取得了重大的进步，但是当场景混乱，光线较弱或者黑暗、以及多显著物和显著物尺寸变化较大时，RGB图像含有的颜色、纹理、空间细节等信息就会受到干扰，甚至信息缺失，此时基于单模态的显著性检测方法性能就会明显的下降。因此，一些研究者利用不同模态图像之间的优势互补进一步提高显著性检测的效果。当前被广泛使用的就是基于RGB图像和深度图像的双模态图像的显著性检测方法。深度图像的使用，为显著性检测提供了物体的三维信息，弥补了RGB图像只包含颜色纹理等底层特征的缺点。但是，深度图像本身分辨率较差，图像中噪声信息较多，有用信息较少且可利用率低。因此，结合RGB图像和深度图像的显著性检测方法通常只是将深度图像作为增补信息，对RGB图像进行信息的补充，而且深度图像的使用并没有解决RGB图像在光照条件不好时成像素质差的问题。为了解决上述问题，研究者开始探索一种信息更加丰富的图像即热红外图像(Thermal)，用以结合RGB图像进行双模态图像的显著性检测。由于，热红外摄像机对突出物的成像始终是均匀的。从热红外图像上获取的热红外信息可以帮助检测显著目标，即使在RGB图像背景杂乱、光线较弱或者黑暗等复杂工况下，热红外图像中目标也会是突出的，同时，热红外摄像机的成像不会受到恶劣天气的影响，但是热红外图像相较于RGB图像来说，通常分辨率较低、图像中物体轮廓不是特别清晰。因此，热红外图像与RGB图像具有优势互补的特点，基于RGB-T图像的显著性检测方法能更为准确地检测显著性目标。

目前基于RGB-T图像的显著性检测方法主要有基于无监督的RGB-T图像显著性检测方法和基于深度学习的RGB-T图像显著性检测方法两大类。基于无监督的RGB-T图像显著性检测方法更依赖于手工提取的特征，性能会比基于深度学习的RGB-T图像显著性检测方法差。基于深度学习的RGB-T图像显著性检测方法主要使用编解码的形式。编码即为利用广泛使用的分类网络VGG和ResNet作为特征提取网络，通过不断地卷积池化操作提取输入图像的各级特征，其中低级特征的特征图较大、通道数量较少、含有较多的细节特征，高级特征的特征图较小、通道数量较多、含有较多的语义和位置信息；解码即为对编码过程中提取的各级特征做进一步处理，从高级特征开始逐渐的补充低级细节特征，最后得到预测的显著性图。然而现有基于深度学习的RGB-T图像显著性检测方法存在以下弊端：①处理所提取的两个模态的高级特征时，方法简单，未能深入挖掘两个模态的高级语义和位置信息，无法为之后的特征处理操作提供全局语义支撑；②对提取的两模态特征的融合较浅，仅仅局限在特征的相加、相乘、和通道连接以及三者的结合；与此同时，大部分的方法主要关注于卷积核卷积后的局部特征，忽略了特征整体的之间的联系性，使得融合效果下降；③在解码过程中没有关注两个模态的自有信息，只做简单地融合，由于非显著区域干扰，导致现有的双模态RGB-T显著性检测方法应对具有挑战性的场景时，无法实现优越的性能。

发明内容