[发明专利]基于跳跃连接卷积层的红外与可见光图像融合方法和装置

权利要求书

1.一种基于跳跃连接卷积层的红外与可见光图像融合方法，其特征在于，所述方法包括：

获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

通过所述两路级联编码器分别对所述红外图像样本和所述可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将所述两路级联编码器最后一级输出的下采样特征图融合后作为所述级联融合解码器的第一级输入；所述级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；所述其他的下采样特征图为所述两路级联编码器中从第二级到最后一级的下采样特征图；

通过所述支路解码器对所述其他下采样特征图进行处理，得到支路上采样特征图；

根据所述上采样特征图的尺寸匹配所述第一级下采样特征图、其他的下采样特征图以及所述支路上采样特征图，并将匹配结果与所述上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；

在级联融合解码器的最后一层解码器网络的输出结果融合所述红外图像样本和所述可见光图像样本的源图像，激活输出预测融合图；

根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；

通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

2.根据权利要求1所述的方法，其特征在于，所述获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器，包括：

获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；所述下采样包括卷积层、批量归一化层和LRelu激活层。

3.根据权利要求2所述的方法，其特征在于，所述获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器，包括：

获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；所述上采样包括反卷积层、批量归一化层和LRelu激活层。

4.根据权利要求3所述的方法，其特征在于，所述根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络，包括：

根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；所述损失函数包括SSIM损失函数和MSE损失函数。

5.根据权利要求4所述的方法，其特征在于，所述根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络，包括：

根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；所述SSIM损失函数通过拉普拉斯算子分别计算两幅源图像的梯度信息，得到SSIM的权重信息，根据所述权重信息引导所述预测融合图向梯度信息较多的源图像靠拢。

6.根据权利要求5所述的方法，其特征在于，所述根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络，包括：

根据预先构建的损失函数和所述预测融合图，采用mini-batch的训练方法对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络。