[发明专利]一种基于卷积神经网络的图像超分辨率重建方法

摘要

本发明公开了一种基于卷积神经网络的图像超分辨率重建方法，该方法使用两层卷积层提取浅层特征，使用多个U型网络进行多尺度的特征提取与融合，使用残差通道注意力机制有效增强有用特征，抑制噪声，使用一层卷积层完成图像最终的重建，使用图像训练集对网络进行端到端训练并保存模型参数供测试使用。本发明显著提高了图像重建质量，在不提高硬件成本的条件下提高了图像的分辨率。

主权项

1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，构建一个包括浅层特征提取模块、多个U型网络模块、基于残差通道注意力的特征融合模块和重建模块的网络模型，将低分辨率图片输入到所述网络模型，得到低分辨率图片对应的高分辨率图片；其具体步骤如下：(1)、采用浅层特征提取模块进行浅层特征提取对于输入的低分辨率图像I_LR，使用3×3的卷积层提取浅层特征，为使模型紧凑，再使用1×1的卷积层压缩通道数量，经过非线性激活单元得到浅层特征图F₀，由以下等式给定：F₀＝f_conv(I_LR)    (1)其中f_conv代表浅层特征提取模块；(2)、得到浅层特征图F₀后，将其作为U型网络模块的输入，每个U型网络模块均包含两个阶段，阶段一为对输入的特征图执行卷积核大小为3，步长为2的卷积操作，每执行一次，特征图的大小缩减为之前的1/4，连续执行两次此操作，此时特征图为输入特征图大小的1/16，此阶段也称为编码阶段；编码阶段输出的特征图作为第二阶段的输入，阶段二采用卷积核为6，步长为2的转置卷积操作，每执行一次，特征图的大小扩大为之前的4倍，连续执行两次此操作，此时特征图扩大为之前的16倍，此阶段也称为解码阶段，编码阶段的特征与解码阶段特征通道跳连接方式进行融合，有利于信息传递及反向传播参数的更新；堆叠多个U型网络已达到多次自下而上和自上而下的多尺度特征提取，多尺度特征的提取有利于图像超分辨率重建；使用F_n代表第n个U型网络的输出(n>0)，则F_n可以用以下等式得到：F_n＝U_n([F₀,C(F₁),…,C(F_n‑1)])    (2)其中U_n代表第n个U型网络，C代表压缩模块，为1×1的卷积层用于压缩通道数量，[F₀,C(F₁),…,C(F_n‑1)]代表特征在通道维度上的连接；(3)、对于多个U型网络的输出，因为每个通道的信息量不同，为便于网络重建，使用残差通道注意力机制，对每个通道学习一个对应的权值，通道特征与权值相乘后与原特征图相加，达到增强有用特征，削弱无用特征及噪声的目的；通过以下等式描述：r_n＝s_c×F_n+F_n   (3)其中s_c代表通道注意力模块得到的权值，r_n为残差通道注意力模块的输出；(4)、在通道维度上连接得到的多个残差通道注意力模块输出r_n，使用3×3的卷积层完成图像的重建；I_sr＝F_conv([r₁,…,r_n])    (4)其中I_sr代表重建图像，F_conv代表3×3的卷积层；(5)、给定训练集y⁽ⁱ⁾为真实高分辨率原图像，采用平均绝对误差作为损失函数，通过下式描述：(6)、使用Adam优化算法，经多轮迭代更新参数至网络收敛，保留其参数供测试使用；(7)、已知有一张低分辨率图像，将低分辨率图像输入进步骤(6)中已训练的网络中，由卷积神经网络输出重建的高分辨率图像。