[发明专利]基于稠密神经网络和双参数损失函数的超分辨率重建方法

说明书

本发明公开了一种基于稠密神经网络和双参数损失函数的超分辨率重建方法：包括数据准备阶段；网络结构搭建阶段；模型训练阶段；图像重建阶段。本发明将稠密卷积神经网络结构的思想应用到单帧图像的超分辨率重建，充分利用网络结构中纹理、轮廓等浅层特征，将图像的局部特征和全局特征结合起来进行超分辨率重建。并在此基础上，采用了一个双参数损失函数，对网络结构进行更加准确的优化训练，提升了算法效果。

技术领域

本发明属于图像处理技术领域，更具体的说，是涉及一种基于稠密神经网络和双参数损失函数的超分辨率重建方法。

背景技术

图像的超分辨率重建，即利用各种重建技术将低分辨率图像映射成高分辨率图像，恢复出更多的高频信息，使得图像的纹理和质地更加清晰。由于多个不同的高分辨率图像经过相同的降采样可能产生相同的低分辨率图像，这是一个典型的一对多问题，因此图像的超分辨率重建问题本质上是一个病态(ill-posed)问题。根据算法所依据的原理不同，图像的超分辨率重建方法可大致分为三类：基于插值的方法、基于重建的方法和基于学习的方法。

基于插值的方法速度快，但因只利用了待重建的低分辨率图像像素点之间的关系，重建出来的图像细节缺失模糊，容易产生模糊、锯齿现象。常见的线性插值方法有最近邻插值方法、双线性插值方法、双三次插值方法等。基于重建的方法利用正则化方法，将超分辨率重建问题转化为对一个约束条件下的代价函数的最优化问题。因此，该方法依赖退化模型和先验信息，特别是随着放大倍数的增加，不能很好地提供重建所需要的一些先验知识，从而不能很好地对一些高频细节进行重建，具有比较大的局限性。近几年，基于学习的方法成为研究的热点。基于学习的方法充分利用了图像本身的先验知识，用学习过程中所获得的知识作为对输入图像信息的补充，在超分辨率重建应用中得到了比较理想的结果，为在恢复必要的高频信息这一方向上提供了新的思路。鉴于深度学习在图像领域的成功应用，实验发现，卷积神经网络在单帧图像超分辨率问题上也卓有成效，目前通用的卷积神经网络结构，如VGG、ResNet等，都极大地提升了单帧图像超分辨率重建的效果。

但是，基于VGG和ResNet的方法都没有充分地利用图像局部特征，很难通过简单地增加网络深度的策略提高重建图像质量。同时，由于超分辨率重建问题通常采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)作为评价指标，现有基于深度学习的超分辨率重建方法多采用L2范数或L1范数作为损失函数，进行模型的优化训练。但是，L2范数由于存在平方项，使得重建出来的图像过于平滑。与L2范数相比，L1范数虽然可以在训练过程中使数值趋于稀疏，但仍不能够重建出高频信息足够丰富的图像。

发明内容

本发明的目的是为了克服现有技术中的不足，提出了一种完整的、端到端的用于单帧图像超分辨率重建的深度学习算法，即一种基于稠密神经网络和双参数损失函数的超分辨率重建方法，将稠密卷积神经网络结构(Dense Convolutional Network，DenseNet)的思想应用到单帧图像的超分辨率重建，充分利用网络结构中纹理、轮廓等浅层特征，将图像的局部特征和全局特征结合起来进行超分辨率重建。并在此基础上，采用了一个双参数损失函数，对网络结构进行更加准确的优化训练，提升了算法效果。

本发明的目的是通过以下技术方案实现的。

本发明的基于稠密神经网络和双参数损失函数的超分辨率重建方法，包括以下步骤：

步骤一，数据准备

(a)划分数据集：采用公开数据集DIV2K，该数据集包含800张训练图、100张验证图和100张测试图，其中，100张验证图用于测试重建效果，800张训练图、100张验证图都是由高分辨率图像和其相应的低分辨率图像组成，低分辨率图像是高分辨率图像经由降质模型生成的；

(b)将800张训练图无重叠的分成96×96大小的图像块，作为网络输入；

步骤二，网络结构搭建