[发明专利]一种基于卷积神经网络的图像超分辨率重建方法

说明书

本发明属于图像技术领域，具体是涉及一种基于卷积神经网络的图像超分辨率重建方法。本发明方法根据不同卷积核的感受野差异原理，利用异形卷积核对卷积神经网络进行改进，使得网络在具有较少的参数的情况下能够提取图像的丰富特征。同时，利用tanh函数作为激活函数以及跳跃连接的方式将多层特征图像信息充分利用，使得重建图像的质量有所提高。另外，本发明方法利用卷积神经网络轻量化原理，对卷积神经网络进行轻量化优化，使得网络在重建图像质量略有下降的情况下整个网络的参数减少，运算量有下降。本发明方法能够在相较于传统网络的参数没有较大提升的基础上提升重建图像质量，同时重建图像相较与传统方法所重建的图像在人眼观感上有明显提升。

技术领域

本发明属于图像处理技术领域，具体是涉及一种基于卷积神经网络的图像超分辨率重建方法。

背景技术

图像超分辨率重建是低分辨率图像重建成高分辨率图像的图像处理技术。随着设备显示能力的提升，用户需要有更高分辨率的图像带来更好的视觉体验，同时更高的分辨率也能方便更多行业的从业人员进行科研，这就需要对图像进行超分辨率重建。

图像超分辨率重建方法包括基于插值的图像超分辨率重建、基于拟合的图像超分辨率重建和基于学习的图像超分辨率重建。基于学习的图像超分辨率重建是当前较为热门的一种重建方法，其具有重建质量好、重建图像细节丰富和人眼观感好等特点，在医疗、卫星和民用领域均得到广泛的应用，因此对图像超分辨率重建的重建质量提升具有重要意义。基于学习的图像超分辨率重建方法又有基于字典学习的图像超分辨率重建方法和基于卷积神经网络的图像超分辨率重建方法，基于卷积神经网络的图像超分辨率重建方法由于其具有较好的特征提取能力和非线性映射能力，使其重建图像质量优于其他方法。

目前针对基于卷积神经网络的图像超分辨率重建方法主要集中在以下几种:

1.卷积神经网络

卷积神经网络方法通过将卷积神经网络利用在图像超分辨率重建问题上，该方法主要利用三层卷积层对图像进行超分辨率重建：特征提取层、非线性映射层和超分辨率重建层，该方法有效的提升了重建图像质量，但是由于网络层数少、图像特征利用率低等弊端，并没有充分使用图像信息，重建效果还可以进一步提升。

2.循环神经网络

循环神经网络方法是利用循环神经网络对图像进行超分辨率重建，在特征提取层之后，利用循环卷积的原理，对特征图像进行循环卷积，并将每次卷积的结果传给最后一层卷积层，实现对图像特征的提取。利用循环神经网络进行图像超分辨率重建的方法虽然改动不大，但是循环卷积的方式可以对图像的某些特征进行充分的提取，避免了一部分卷积神经网络层数少，没有充分提取特征的问题；但是循环神经网络使用同一层卷积层进行循环卷积，无法充分提取图像的不同特征，使得重建图像会对某类重复出现的特征的重建效果较好、其他特征效果一般的问题。

3.对抗神经网络

该方法基于对抗神经网络，利用生成网络和对抗网络两个网络同时训练，得到能够重建出具有丰富纹理的图案，但是由于该网络在训练过程中用到了对抗网络对图像的观感进行提升，会造成重建图像与真实图像所呈现的内容有较大的差异，并且同时训练两个网络需要较长的时间和较多的资源，对设备的要求非常高，实用性有一定的限制。

发明内容

本发明的目的在于，针对上述问题，提出一种基于改进的卷积神经网络——水平垂直网络(Horizonal and Vertical Super-Resolution，HVSR)的图像超分辨率重建方法，是一种重建图像性能好且网络参数较少的图像超分辨率重建方法。

本发明的技术方案为，一种基于卷积神经网络的图像超分辨率重建方法，如图1所示，包括以下步骤：

S1、选取n张图像作为训练集{P_H1,P_H2,...,P_Hn}，下标H表示图像为高分辨率图像；