[发明专利]基于模态差异特征引导的红外可见光融合识别系统和方法

说明书

本发明公开了一种基于模态差异特征引导的红外可见光融合识别系统，包括双流骨干网络模块、光照热度感知模块和级联区域提议模块，其中，所述双流骨干网络模块包括红外特征提取单元、可见光特征提取单元以及特征引导单元，其中，红外特征提取单元获取原始红外图像的不同尺度红外特征，可见光特征提取单元获取可见光图像的不同尺度可见光特征；特征引导单元获得加权的红外特征和加权的可见光特征；光照热度感知模块获取可见光特征的可信度权值和红外特征的可信度权值；级联区域提议模块用于获得目标的识别结果。本发明采用模态间特征差异引导补充学习的层级间特征生成方式，提升了模态间特征表示的依赖性，并提高了网络系统的泛化能力。

技术领域

本发明属于多光谱图像识别技术领域，具体涉及一种基于模态差异特征引导的红外可见光融合检测识别方法。

背景技术

红外图像可捕捉到清晰的目标轮廓信息，而可见光图像可以呈现出目标精细的视觉信息，包括颜色、纹理、结构等。在光照不足的情况下，有效利用两波段互补的信息实现目标检测必不可少。

在红外可见光融合目标检测领域的早期探索中，许多学者专注于研究成像硬件及校准获取成对红外可见光图像序列，并采用机器学习的检测方法设计双波段融合检测器对数据集效果进行验证。Hwang S,Park J,Kim N等人搭建了由彩色摄像机、热像仪、分束器和三轴摄像机夹具组成的红外可见光配对成像系统，设计了基于ACF(可见光通聚合道特征)+T(像素强度)+THOG(梯度方向直方图)特征和Adaboost分类器组成的双波段目标检测器，通过提取ACF和红外像素强度以及THOG特征并进行融合，继而得到分类结果。

随着深度神经网络在可见光图像检测领域的快速发展，研究者致力于将深度神经网络应用于双波段特征融合检测。针对红外与可见光两种模态存在视场和模态差异的问题，Zhang L,Zhu X,Chen X等人设计了一种新的对齐区域CNN网络来端到端的处理弱对齐数据。对于输入的一组彩色图和热图，经过特征提取后用过数量预测和感兴趣区域匹配给输入区域特征对齐，再对对齐后的图像特征进行合并，再进行置信度融合。以上方法中对模态间差异进行了缓解，但未进一步从不同特征层出发，通过模态间特征的差异性进行互相补充，引导当前特征的生成。同时，在特征融合过程中，当前方法未建立完备的融合指导策略，导致融合检测精度较低。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于模态差异特征引导的红外可见光融合检测识别方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于模态差异特征引导的红外可见光融合识别系统，包括双流骨干网络模块、光照热度感知模块和级联区域提议模块，其中，

所述双流骨干网络模块包括红外特征提取单元、可见光特征提取单元以及特征引导单元，其中，所述红外特征提取单元用于获取原始红外图像的不同尺度红外特征，所述可见光特征提取单元用于获取与所述红外图像为同一场景的可见光图像的不同尺度可见光特征；所述特征引导单元用于对当前尺度的红外特征和可见光特征进行融合和加权，获得加权的红外特征和加权的可见光特征，以交叉引导所述红外特征提取单元和所述可见光特征提取单元中下一尺度红外特征和可见光特征的形成；

所述光照热度感知模块用于根据原始红外图像的图像热度值、原始可见光图像的图像照明值，获得可见光特征的可信度权值和红外特征的可信度权值；

所述级联区域提议模块用于根据不同尺度的红外特征、不同尺度的可见光特征、以及可见光特征的可信度权值和红外特征的可信度权值，获得目标的识别结果。

在本发明的一个实施例中，所述红外特征提取单元包括多个级联的红外特征提取卷积层，以获得不同尺度的红外光特征，所述可见光特征提取单元包括多个级联的可见光特征提取单元，以获得不同尺度的可见光特征，所述特征引导单元包括多个级联的模态差异引导子单元，其中，