[发明专利]基于深层门限卷积神经网络的图像超分辨方法

摘要

本发明公开一种基于深层门限卷积神经网络的图像超分辨方法，主要解决现有技术在网络加深时图像超分辨效果会降低的问题。其实现步骤是：1.获取成对的低分辨和高分辨图像数据作为训练数据；2.定义一种门限卷积层，用它取代现有的卷积层，构建一个端到端的深层门限卷积神经网络；3.将训练数据输入深层门限卷积神经网络用Adam优化方法进行训练；4.利用训练好的深层门限卷积神经网络进行图像超分辨。本发明有效的减小了深层神经网络的梯度衰减的问题，实现了深层网络的图像超分辨应用，增强了图像超分辨效果；提高了图像超分辨的速度，可用于卫星遥感领域，医学领域，交通监控及视频压缩。

主权项

1.基于深度门限卷积神经网络的图像超分辨方法，包括：1)获取成对的低分辨和高分辨图像数据：对自然图像先进行下采样处理，然后再用双线性三次插值法，得到与之对应的低分辨图像，最后随机采样，得到大小相同的成对低分辨图像和高分辨图像作为训练数据，所述用双线性三次插值法，得到与之对应的低分辨图像，是通过下式进行：f(i+u,j+v)＝ABC其中，u表示横向的插值位置，v表示纵向的插值位置，i为当前像素点的横坐标，j为当前像素点的纵坐标，f(i+u,j+v)表示图像在(i+u,j+v)处插值后的像素值；A是横向因子矩阵，B矩阵是包括像素值f(i,j)在内的周围共计16个点的像素值组成的矩阵，C是纵向因子矩阵，这三个矩阵分别表示如下：A＝[S(1+u) S(u) S(1‑u) S(2‑u)]，S是插值基函数；C＝[S(1+v) S(v) S(1‑v) S(2‑v)]^T，T表示转置；2)对基于卷积神经网络的图像超分辨模型SRCNN进行改进，构建一个端到端的深层门限卷积神经网络：2a)定义一种门限卷积层，并用它来代替SRCNN中的卷积层，得到浅层的门限卷积神经网络：2a1)定义一个门限卷积层，它包括了两路卷积操作，其数学表达式为：g_conv(x)＝f(ω₁*x+b₁)·g(ω₂*x+b₂)，其中x表示门限卷积层的输入，ω₁表示第一路卷积核，ω₂表示第二路卷积核，b₁表示第一路的偏置，b₂表示第二路的偏置，f表示第一路的激活函数，g表示第二路的激活函数，“*”表示卷积操作，“·”表示点乘操作；2a2)用2a1)中的门限卷积层代替SRCNN中的卷积层，构建门限卷积神经网络：SRCNN中的卷积层只包括一路的卷积操作，其数学表达式为：conv(x)＝f(ω*x+b)，x表示该卷积层的输入，ω是卷积核，b是偏置，“*”表示卷积操作；在该卷积层的基础上，再加入一路卷积就得到门限卷积层的数学表达形式式：ω表示门限卷积的第一路卷积核，等价于ω₁，b表示门限卷积的第一路偏置，等价于b₁，表示门限卷积的第二路卷积核，等价于ω₂，表示门限卷积的第二路偏置，等价于b₂；将SRCNN中的每一个卷积层conv(x)都用门限卷积层g_conv(x)代替，得到浅层门限卷积神经网络；2b)将浅层的门限卷积神经网络拓展到更多层神经网络，且最后一层采用反卷积神经网络重构高分辨图像，得到多层门限卷积神经网络和一层反卷积神经网络级联的深层门限卷积神经网络；3)用Adam优化方法对深层门限卷积神经网络进行训练：3a)将低分辨图像样本作为深层门限卷积神经网络的输入，计算其输出与高分辨图像样本之间的重构误差其中xh_i为训练时第i幅高分辨图像，xl_i为训练时第i幅低分辨图像，M表示该深层门限卷积神经网络；3b)将重构误差E作为目标函数，用Adam优化方法优化该目标函数，得到一组最优的深层门限卷积神经网络参数：3b1)初始化深层门限卷积神经网络参数θ，设定优化总次数Q；3b2)计算出目标函数对每一个参数的梯度g_t；3b3)根据求得的梯度g_t求出如下几个参数：梯度的一阶距：m_t＝αm_t‑1+(1‑α)g_t，其中α是第一个固定参数，取值为α＝0.9；校正后的梯度一阶距：梯度的二阶距：其中β是第二个固定参数，取值为β＝0.999；校正后的梯度二阶距：3b4)根据3b3)求出第t次参数θ微调的大小：其中η为设定的初始步长；3b5)设第t次更新后的深层门限卷积神经网络参数为：θ_t＝θ_t‑1+Δθ_t，其中θ_t‑1为t‑1次更新后的深层门限卷积神经网络参数；3b6)将当前更新次数t与训练总次数Q比较：当t＜Q时，则重复3b2)‑3b5)操作；当t＝Q时，训练结束，Q次优化得到的参数θ_Q即为最终的深层门限卷积神经网络的参数；4)用3b)中得到的最优的深层门限卷积神经网络参数所对应的深层门限卷积神经网络实现对低分辨图像到高分辨图像的超分辨映射：4a)对于输入的低分辨图像，通过一次门限卷积后得到低分辨图像所对应的特征图像；4b)由4a)中得到的低分辨图像的特征图像再经过多层的门限卷积神经网络精确的映射到高分辨图像的特征图像；4c)由4b)中得到的高分辨图像的特征图像经过一层反卷积网络重构得到我们的高分辨图像。