[发明专利]基于多频段深度卷积神经网络的图像超分辨重建方法

说明书

本发明公开了一种基于多频段深度卷积神经网络的图像超分辨重建方法。其步骤为：选取训练样本和测试样本；训练图像进行分批输入网络，进行特征提取，并结合长短期记忆构建多频段学习结构，再进行特征细化、特征映射和上采样重建；根据训练得到的模型，获得网络参数，完成图像重建。本发明通过引入多频段学习，增强高频信息重建，并利用记忆迁移操作使网络同时具有长短期记忆，加快了图像重建速度，增强了图像边缘和纹理细节的重建，获得了质量更好的图像超分辨重建结果。本发明具有较强的超分辨率能力，重建的图像更接近真实图像。

技术领域

本发明属于图像技术领域，具体涉及一种基于多频段深度卷积神经网络的单幅图像超分辨重建方法。

背景技术

在医学、天文、监控、军事等领域中，高分辨率图像具有很大的意义。而目前传统的图像超分辨技术无法重建出较好的高分辨率图像，其纹理细节、边缘特征的恢复还有待提高。近年来，基于卷积神经网络的图像超分辨重建方法比传统方法更具优势，受到了广泛的关注。

Dong等人首次提出基于卷积神经网络的图像超分辨重建方法SRCNN，利用三层卷积神经网络大大提高了图像分辨率，随后该团队又提出FSRCNN，利用转置卷积操作替代传统方法中的上采样操作；kim等人提出基于深度卷积神经网络的图像超分辨重建方法VDSR，利用梯度剪裁和残差学习解决深层网络训练困难的问题。随后又提出DRCN方法，实现共享参数；随后又相继出现了很多基于深度学习的图像超分辨重建方法，如Jia等人提出MSSR方法，利用多路径实现图像在单个网络中可多倍放大的目的。

现有的基于卷积神经网络的图像超分辨重建方法可有效地提高图像超分辨重建性能，但是却有以下缺陷：这些方法都利用图像的低频信息重建高频信息，计算复杂度高，重建后的图像细节恢复还是不够，重建图像的边缘和纹理细节不够清晰，难以满足现实需求。而且由于网络结构使得训练难度高，很难达到收敛，容易出现梯度消失现象，灵活性低。

发明内容

为了解决现有技术中存在的上述缺陷，本发明针对近年来基于卷积神经网络的图像超分辨重建方法的不足之处，提出一种基于多频段深度卷积神经网络的图像超分辨重建方法，目的在于有效地降低计算复杂度，提高图像重建的精度，增强图像恢复的细节，满足现实需求。

为了实现上述目的，本发明是通过下述技术方案：

本发明采用残差学习思想，提供一种基于多频段深度卷积神经网络的图像超分辨重建方法，使网络同时具有长短期记忆，并利用不同的通路提取图像的高、中、低频段信息，并设置合适的参数，不仅增强了重建精度，还降低了网络的计算复杂度，训练速度快，具体步骤包括：

步骤S1，用291幅图像数据集生成真实高分辨率图像库X，根据此高分辨率图像下采样得到低分辨率图像库Y，利用Set5数据集中的高分辨率图像构成验证集图像库；

步骤S2，将步骤S1所述的真实高分辨率图像库X、低分辨率图像库Y和验证集图像库图像进行分块，并分批存入数据集中，得到最后的训练数据集；

步骤S3，构建多频段深度卷积神经网络训练模型，将整个网络分为特征提取层、特征细化层、特征映射层和重建层四个部分；

步骤S4，将步骤S2得到的训练数据集输入构建的多频段深度卷积神经网络训练模型中，经过N次寻优，获得模型用于重建；

步骤S5，将待处理的低分辨图像输入训练得到的模型中，获得高分辨率图像输出。

上述技术方案中，本发明进一步优选的方案为：

优选的，所述步骤S1中，将真实高分辨率图像库X和验证集图像库由RGB色彩空间转换为YCbCr色彩空间，并提取其亮度通道得到单通道图像作为最终的高分辨图像库和验证集图像库。