[发明专利]基于跳跃连接卷积层的红外与可见光图像融合方法和装置

说明书

本申请涉及一种基于跳跃连接卷积层的红外与可见光图像融合方法、装置、计算机设备和存储介质。所述方法包括：获取红外图像样本和可见光图像样本，将红外图像样本和可见光图像样本输入红外与可见光图像融合网络；红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；基于跳跃连接的结构，适当增加中间连接层，将下采样特征图、下采样特征图经过一次上采样得到的上采样特征图跳跃连接到解码部分尺寸相同的特征图，融合后生成结果，最大化利用特征图，以提高对图像的还原度。

技术领域

本申请涉及图像处理领域，特别是涉及一种基于跳跃连接卷积层的红外与可见光图像融合方法、装置、计算机设备和存储介质。

背景技术

可见光与红外图像的成像特征具有显著差异，但其图像融合又有良好的互补性，在目标探测识别领域有广泛应用。红外与可见光融合方法大概分为两类：传统方法与深度学习方法。传统方法通常使用相关的数学变换和手动设计的融合规则来获取融合图像，大致有基于多尺度变换的方法、基于显著性的融合方法、基于混合模型的方法和基于稀疏表示的融合方法等。基于多尺度变换的方法，一般将红外和可见光图像分解为不同尺寸的分量，每个分量表示该尺度下的子图像。该类融合方法比较符合人眼的视觉特性，所以融合结果有较好的视觉效果，但是，现实中的对象通常包括了不同尺度的分量，多尺度分解算子复杂多样，且各有特点，需要先验算子进行融合。基于显著性的融合方法鲁棒性较强，适用于多种类型的图像融合，但是需要先对图像进行分解得到不同的图层，包括基础图和细节图，对不同图层用显著性提取模型提取显著性图，然后通过不同规则重构基础图和细节图，以此构建结果图，操作步骤较为繁琐。基于稀疏表示的融合方法，基于稀疏表示的方法需要预先构建完备稀疏字典，工作量较大。还有基于混合模型的方法，这种方法结合了上面几种方法，不可避免的也会包含这几种方法的缺点。这些传统方法大多数传统方法通常有三个步骤：图片转换、活动水平测量和融合规则设计。随着融合规则设计不断复杂化，计算量也随之增大。基于深度学习的方法无需人工设计融合规则，只需设计合适的网络结构和损失函数。常见的有基于CNN的联合图像融合方法、基于卷积稀疏表示的图像融合方法、基于DenseNet的图像融合方法等。目前提出的大多数网络较深，参数量较大，会使得运行和训练较慢。但是缩减网络层数，减少密集连接网络层可能会导致效果不佳。另外一些网络，如IFCNN，这种为保留图像信息整个网络不使用下采样，会使感受野有限，无法获得高维信息。还有基于生成对抗网络的方法，如FusionGAN，尽管融合效果较好，但是GAN网络训练时每次更新都需要先训练判别器，再反馈更新生成器的参数，会使得训练速度变慢。

因此，现有技术存在计算量大、效果不佳的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升图像融合效果的基于跳跃连接卷积层的红外与可见光图像融合方法、装置、计算机设备和存储介质。

一种基于跳跃连接卷积层的红外与可见光图像融合方法，所述方法包括：

获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

通过所述两路级联编码器分别对所述红外图像样本和所述可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将所述两路级联编码器最后一级输出的下采样特征图融合后作为所述级联融合解码器的第一级输入；所述级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；

通过所述支路解码器对所述其他下采样特征图进行处理，得到支路上采样特征图；

根据所述上采样特征图的尺寸匹配所述第一级下采样特征图、其他的下采样特征图以及所述支路上采样特征图，并将匹配结果与所述上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；