[发明专利]一种基于多尺度残差学习网络的单图像超分辨重建算法

摘要

本发明涉及一种基于多尺度残差学习网络的单图像超分辨重建算法。近年来，卷积神经网络在许多视觉任务中被广泛应用，特别是在单图像超分辨率重建领域取得了显著的成果。同样，多尺度特征提取也在该领域取得了一致性的性能提升。然而，目前现有方法多以分层的方式提取多尺度特征，这随着网络深度和宽度的增加，会大大提高计算的复杂度和内存的消耗。为了解决上述问题，我们提出了一种紧凑的多尺度残差学习网络，即在残差块内表示多尺度特性。该模型由特征提取块、多尺度信息块和重建块三部分构成。此外，由于该网络层数较少且使用了组卷积，该网络具有执行速度快的优点。实验结果表明，该方法在时间和性能方面优于现有方法。

主权项

1.一种基于多尺度残差学习网络的单图像超分辨重建算法，其特征在于：主要由三个部分组成：特征提取块(FBlock)、多尺度信息块(MFBlock)和重建块(RBlock)，Y和X分别表示MFN网络的输入和输出，特征提取块(FBlock)由两层3×3卷积组成的特征提取块从原始低分辨率图像Y中提取特征映射F₀，F₀＝f_et(Y)  (1)公式(1)中，f_et表示特征提取函数，F₀表示由两层卷积提取的特征通道并发送到第一个多尺度信息块，假设将n个多尺度信息块堆叠起来作为残差信息的映射过程，F_k＝D_k(F_k‑1)，k＝1，...，n，  (2)公式(2)中，D_k表示第k个多尺度信息块函数映射，而F_k‑1和F_k表示第k个多尺度信息块的输入和输出，最后，我们以一个没有激活函数的转置卷积作为重建块，因此，MFN网络可以表示为：X＝R(D_k(F_k‑1))+U(Y)  (3)公式(3)中，R表示重建块的函数映射，U表示对低分辨率图像的双立方插值运算，现在将详细介绍多尺度信息块的细节，其包含一个多尺度特征单元和一个压缩单元，多尺度特征单元用于模拟一个非线性函数，其作用类似于大脑中的递归突出，多尺度特征单元可以分成两部分：一部分是在残差块内以分层构建残差连接的方式组成MF‑Conv模块；另一部分是以MF‑Conv模块为基础并结合不同路径特征的残差构建块，MF‑Conv是一种简单有效的多尺度表达网络，与现有的多层多尺度提取不同，这是在单层网络上提高了多尺度表达能力，为了降低网络参数，我们在每个MF‑Conv模块的第一层使用3×3的分组卷基层，特征维数为D的特征图先通过3×3的分组卷积，再将其平均分割成t个特征图子集，记为X_i，i∈{1，2，...，t}，其中每个X_i具有相同的空间大小，通道维数为D/t。除了第一个特征图子集X₁，每一个X_i都有一个对应的3×3卷积算子，记作M_i，其中，S表示通道维数上的分割操作，C表示通道维数上的拼接操作，Y_i是每个X_i经过卷积算子M_i的输出结果，并将Y_i进行切片操作，将其通道维数的1/b和X_i+1进行拼接操作并作为M_i+1的输入，经过M_i卷积运算的结果Y_i可以由公式(4)表示：特征图子集X_i的输出结果Yi可以由公式(5)表示：每个3×3卷积算子M_i都有可能从所有的特征图子集{X_j，j≤i}中提取特征信息，每当X_j经过一个3×3卷积算子时，都会得到一个比X_j更大的接受域，由于组合爆炸效应，该模块输出不同尺度大小且有利于提取局部和整体信息的接受域，为了能更好地融合输出特征，我们将所有的特征信息连接起来，并通过一个1×1的卷积算子完成信息的融合，综上所述，MF‑Conv以分层构建残差连接的方式增加输出信息中能够表示的尺度数量，随着输入特征转化为输出特征的任何可能路径的出现，等效接受域就会增大，从而得到更多的等效特征尺度，在本文中，我们使用t作为特征分割尺度的控制参数，较大的t往往具有较强的多尺度能力，而级联带来的计算时间和内存消耗可以忽略不计，多尺度信息块第一阶段的输出结果被切分为两个部分，假设这个模块的输入是I_k‑1，通道维数为D_I，公式(6)中，I_k‑1是前一个模块的输出，同时也作为当前块的输入，C_m是MF‑Conv链式卷积运算，为第k个多尺度信息块中上述模块的输出，和之前一样，S表示通道维数上的分割操作，C表示通道维数上的拼接操作，将分割成两部分，其D_I/d通道维数部分和I_k‑1做拼接操作，其目的是为了将不同路径的特征有效地结合起来，D_I/d通道维数的可以看做是短径特征的保留，我们将剩余部分的短径特征作为下一模块的输入，这样就可以利用深度网络强大的表达能力获得对应的长径特征，公式(8)中，O^k是下面模块的输出也就是长径特征，最后，结合输入信息、保留的局部短径信息和本地长径信息，因此，多尺度特征单元可以表示为：公式中(9)，O^k是多尺度特征单元的输出，最后，将本地长径信息和局部短径信息与未处理特征P^k组合一起发送给压缩单元做后续的处理，为了更好地衡量特征通道之间的依赖关系，自适应地重新校准通道方向的特征响应，我们利用1×1卷积层和挤压‑激励模块(SE)组成压缩单元，具体来说，多尺度特征单元的输出O^k通过1×1卷积层的降维处理并发送给SE模块，SE模块通过显式地构建特征通道之间的依赖关系，并自适应地重新校准通道的特征相应，其目的在于，减小特征通道内的冗余信息，进一步增强特征通道的表达力，我们在压缩单元中添加SE模块，可以为后续的网络提取更加重要的特征信息，因此，压缩单元可以表示为：公式(10)中，E_k表示SE模块，为1×1卷积层函数(表示激活函数、为权重参数)。我们打算使用两种计算误差的损失函数，分别测量预测的高分辨率图像与对应的真实高分辨率图像I之间的差值，第一中使用均方误差(MSE)，它是应用最广泛的图像恢复损失函数，然而，Lim等人通过实验证明，使用MSE作为损失函数来进行训练并不是一个很好的选择，他们将平方绝对误差(MAE)作为损失函数，实验结果表明，使用MSE作为损失函数训练的网络模型能够有效地提高训练网络的性能，所以，我们首先使用MAE损失函数对网络进行训练，然后再用MSE损失函数对网络进行微调。