[发明专利]一种基于多模式特征的红外与可见光图像融合方法

权利要求书

1.一种基于多模式特征的红外与可见光图像融合方法，其特征在于，包括以下步骤：

步骤1，构建特征提取和图像重构网络，基于多尺度卷积网络，通过loss函数的的引导，优化生成一个多模式特征编码器-解码器网络；

步骤2，通过所述编码器-解码器网络提取红外与可见光多模式特征，使用熵、梯度和显著性对所述多模式特征进行度量，并设计多模式自适应loss。

步骤3，构建嵌入Transformer融合策略的融合权重学习模型，并为所述融合模型的权重赋值；

步骤4，获取红外图像的显著性图作为label，加入显著性label作为融合网络优化的区域选择；

步骤5，将所述嵌入Transformer融合策略的融合权重学习模型与编码器解码器级联，构建红外与可见光图像融合网络，并采用所述显著性label和多模式loss对所述红外与可见光图像融合网络进行训练。

2.如权利要求1所述的方法，其特征在于，步骤1中所述编码器的结构包含：1个1×1卷积层和4个编码卷积模块ECB10、ECB20、ECB30和ECB40，每个编码卷积模块包含2个3×3卷积层和一个最大池化层；

步骤1中所述解码器的结构包含：1个1×1卷积层和6个解码卷积模块DCB30、DCB20、DCB21、DCB10、DCB11和DCB12，每个解码卷积模块包含两个3×3卷积层。

3.如权利要求1所述的方法，其特征在于，步骤1中所述解码器网络具体连接方式如下：在第一、第二尺度中采用横向密集跳转连接，采用通道连接方式，将第二尺度的最终融合特征跳转连接到DBC21的输入，将第一尺度的最终融合特征跳转连接到DCB11和DCB12的输入，将DCB10的输出跳转连接到DCB12的输入；通过横向密集跳转连接，所有中间层的深度特征都被用于特征重构，提高多尺度深度特征的重构能力；在解码子网络中，在所有尺度中建立纵向密集连接，采用上采样方式，将第四尺度的最终融合特征连接到DCB30的输入，第三尺度的最终融合特征连接到DCB20的输入，第二尺度的最终融合特征连接到DCB10的输入，将DCB30的输出连接到DCB21的输入，DCB20的输出连接到DCB11的输入，DCB21的输出连接到DCB12的输入，通过纵向密集上采样连接，所有尺度特征被用于特征重构，进一步提高多尺度深度特征的重构能力。

4.如权利要求1所述的方法，其特征在于：编码器-解码器网络的loss函数L_ED，其为输入图像与输出图像之间的像素一致性和结构相似性，如公式(1)所示：

L_ED＝L_p+βL_ssin (1)

其中L_p为像素一致性loss，L_ssin为结构相似性loss；

像素一致性lossL_p如公式(2)所示：

结构相似性lossL_ssin如公式(3)所示：

L_ssim＝1-ssim(O，I) (3)

其中，O为网络输出图像，I为输入图像。

5.如权利要求1所述的方法，其特征在于，步骤2中所述使用熵、梯度和显著性对所述多模式特征进行度量包含以下步骤：

步骤2.1，计算所述编码器输出的特征的熵，比较各个尺度特征的熵值，熵最高的特征包含最多的内容与细节，将其归类为内容特征；

步骤2.2，使用Sobel梯度算子计算所述编码器输入图像的梯度，将该梯度进行下采样后与各特征做差，并求均值，所得均值最小的特征包含更多的轮廓、边缘等结构性特征，将其归类为边缘结构性特征；

步骤2.3，使用显著性提取算法计算所述编码器输入图像的显著性图，将该显著性图进行下采样后与各特征做差，并求均值，所得均值最小的特征对前景目标与背景有一定的区分，将其归类斑块特征。