[发明专利]一种双通道卷积神经网络的单图像超分辨率计算方法

说明书

本发明公开一种双通道输入卷积神经网络的单图像超分辨率计算方法，包括(1)把已知高分辨率图像经过模糊退化处理，得到相同大小的低分辨率图像；(2)把步骤(1)得到的模糊处理后的低分辨率图像分解成低分辨率图像纹理部分和平滑结构部分；得到高分辨率图像的纹理部分和平滑结构部分；(3)把步骤(2)得到的低分辨率纹理部分和原低分辨率图像组合得到双通道输入，得到高分辨率纹理部分的输出；(4)组合步骤(3)得到的高分辨率纹理部分输出与原低分辨率图像得到最终的图像超分辨率重建结果，完成超分辨率重建；(5)计算步骤(4)和步骤(2)得到的高分辨率纹理部分之间的差值得到纹理部分损失；最小化纹理损失与图像损失的和来优化网络结构参数。

技术领域

本发明属于图像处理技术领域，具体涉及一种双通道卷积神经网络的单图像超分辨率计算方法，该方法适用于多种计算机视觉任务，如人脸识别、目标跟踪、车牌识别等。

背景技术

单图像超分辨率(SR,Super-Resolution)技术是指通过软件方式把一幅低分辨率(LR,Low-Resolution)图像恢复成高分辨率(HR,High-Resolution)图像的过程。该技术具有广泛的应用，如视频监控、医学成像、遥感卫星成像等。现有的SR率算法可分为三类：基于插值[1]、基于重建[2]和基于学习的方法[3-10]。其中基于学习的图像SR算法，学习LR和HR图像之间的函数映射关系，生成最终的HR图像，具有更好的复原效果，是近年来研究的热点。

Chang等[4,5]引入局部线性嵌入法(LLE,Locally linear embedding)来计算重建图像加权平均的权值。假设HR图像块和对应的LR图像块在几何上具有相似性，通过LLE算法计算出一组最优的线性组合系数，使得样本库中的K个最近邻样本LR块经过这组系数加权平均得到的图像与输入LR图像块之间的误差最小；再将这组系数直接应用于K个样本中的HR图像块，从而得到HR图像。Yang等[6,7]对LR和HR样本图像块构成的样本库进行稀疏表示，并通过联合训练的方式找到LR和HR图像块对应的过完备字典。这种联合训练的方式迫使对应的LR块和HR块通过各自的字典所获得的稀疏系数相同，并由此建立起LR与HR之间的桥梁。基于稀疏字典的图像SR算法[7]建立稀疏先验约束，在稀疏编码过程自动选择参与SR重建的字典原子数量，而非LLE中人为的设定。这类方法较LLE方法重建质量更高，但是稀疏编码和重建过程需要多次迭代，算法复杂度较大。Jim等[8]改进了Yang等的算法，分别重建图像高频纹理部分和平滑部分，纹理部分采用稀疏表示的方法重构，平滑部分简单地用插值的方法恢复，然后组合两部分得到结果的HR图像，增强了图像纹理细节。

以上基于学习的SR算法主要分为特征提取、学习和重建三个阶段。各阶段分别独立设计优化，且学习模型的特征提取与表达能力有限。近年来，深度学习引起了广泛的关注，它的出现弥补了传统基于学习方法的不足。其中，Dong等[9]率先将卷积神经网络(CNN,Convolutional Neural Network)引入到图像SR复原问题中，设计了基于深度CNN的图像SR复原方法(SRCNN)。该方法主要思想：以深度学习与传统的稀疏编码之间的关系为依据，将网络分为图像块提取、非线性映射和重建三个阶段，再将这三个阶段统一到一个深度CNN的框架中，学习LR图像到HR图像之间的端到端映射关系。网络结构上，将稀疏编码过程看作卷积操作，利用三层卷积层完成图像块提取、非线性映射和重建操作。优化方式上，传统的基于学习的SR方法对三个阶段分别独立优化处理，忽略了整体框架的优化。SRCNN[9]采用联合优化方式，图像重建性能有了较大的提高。SRCNN模型证明了直接学习LR和HR之间端到端的映射简单可行，效果也很好，但重构出的高频特征仍然不能令人满意。