[发明专利]一种基于对称深度网络的单幅图像超分辨率重建方法

摘要

本发明公开了一种基于对称深度网络的单幅图像超分辨率重建方法，属于图像处理技术领域。本发明主要包括以下步骤：1、制作高分辨率图像块与低分辨率图像块训练集；2、构建一个对称的卷积‑反卷积深度网络用于模型训练；3、基于构建的深度网络和制作的数据集，进行网络模型的训练；4、依据学习的模型参数，输入一幅低分辨率图像，得到的输出即为重建的高分辨率图像。本发明通过结合卷积层和反卷积层，同时增加网络深度，利用网络深度提升网络性能，加强了图像细节部分的重建能力，获得了更好的图像超分辨率重建效果，在图像高清显示、医学成像、遥感图像等领域中有着广泛的应用前景。

主权项

1.一种基于对称深度网络的单幅图像超分辨率重建方法，其步骤为：步骤1、利用常用图像处理数据集，制作高分辨率图像块与低分辨率图像块训练集；过程为：将常用图像处理数据集中每张彩色图像，首先转换到YCbCr空间，然后提取高分辨率训练图像的Y分量，接着对高分辨率图像进行两次双三次插值，得到与高分辨率图像对应的相同尺寸低分辨率图像；将每张高分辨率图像和低分辨率图像裁剪成多个图像块，由此得到用于深度网络训练的高分辨率图像块与低分辨率图像块的集合；步骤2、构建一个10层的对称的卷积‑反卷积深度网络用于模型训练；其中，前面5层为卷积层，后面5层为反卷积层；每个卷积层和反卷积层之后接一个ReLU激活层；网络输入为低分辨率图像块，输出为高分辨率图像块，该网络将学习低分辨率图像块和高分辨率图像块之间的映射关系，如公式(1)所示：x＝F(y,φ)                  (1)其中，x,y分别表示高分辨率图像块和低分辨率图像块，φ为学习到的模型参数，用于之后的高分辨率图像重建；网络训练的损失函数采用均方误差表示，如公式(2)所示：其中，N为步骤1所得训练集中样本数量，xⁱ,yⁱ为第i个高分辨率图像块和对应的低分辨率图像块；ReLU激活层的激活函数用公式(3)表示如下：f(x)＝max(0,x)                        (3)其中，x为激活函数的输入，f(x)为激活函数的输出；构建的深度网络的所有卷积核大小均设为3*3，前5个卷积层对应的特征图的数量分别设为32、64、64、128、128，后5个反卷积层对应的特征图的数量分别设为128、128、64、64、1，每个卷积层和反卷积层得到的输出用公式(4)表示：y_i＝f(W_ix_i+b_i),i＝1,2,...,10               (4)其中，W_i表示第i层的权重，b_i表示第i层的偏置，x_i表示第i层的输入，y_i表示第i层的输出；经过激活函数，结果如公式(5)所示：z_i＝max(y_i,0)                         (5)其中，y_i为上一层输出，z_i表示激活函数的输出；步骤3、依据步骤1获得的训练集和步骤2构建的网络，利用Caffe深度学习平台进行网络训练，调整网络参数；首先对步骤2构建的对称深度网络的权重和偏置进行初始化；具体过程为：1)采用Xavier方式初始化权重W后，W满足以下均匀分布；其中，n_j表示该层网络输入单元数目，即卷积层输入特征图数量，n_j+1表示该层网络输出单元数目，即卷积层输出特征图数量；2)偏置全部初始化为0，即b_i＝0；采用梯度下降法来更新网络参数，用公式(7)表示如下：其中，L是公式(2)计算得到的损失函数值，Δ_i和Δ_i+1分别表示第i次和第i+1次权重变化量，l是层的索引，i是迭代次数，η是学习率，是梯度；在训练过程中，通过指定迭代次数来进行网络参数更新；步骤4、将一幅低分辨率图像作为网络输入，利用步骤3学习的参数重建出一幅高分辨率图像作为输出。