[发明专利]将超分辨与退化联合学习的真实世界图片超分系统及方法

说明书

本发明提供一种将超分辨与退化联合学习的真实世界图片超分系统及方法，系统通过训练退化子网络，可以生成真实的训练对，从而避免双三次下采样造成的伪影，还引入了信息损失以避免颜色变化，并引入了感知损失以去除非真实的伪影；本发明相比于其他方法具有良好的性能，得到的高分辨率图片有更少的噪声和更好的视觉质量；解决现有超有超分辨方法不能适用于真实世界图片超分的问题，同时提出一个联合训练框架，既可以实现真实世界图片超分，也可以构建真实世界的高低分辨率图片对，方便应用于其他超分网络中。

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种将超分辨与退化联合学习的真实世界图片超分系统及方法。

背景技术

卷积神经网络(Convolutional Neural Network)是一种采用卷积结构的深度神经网络，其中卷积结构可以通过局部感受野、权值共享、池化操作三个关键模块，减少网络的参数，进而减轻模型的过拟合问题。卷积神经网络结构包括：输入层，卷积层，池化层，全链接层，输出层。在每一层中存在多个特征图，每个特征图通过卷积核的卷积操作提取输入图片的特征，其中提取特征的核心模块是卷积层和池化层。卷积层由一系列的神经元和激活函数构成，神经元可以视作图像处理中的滤波器，并且连接每个神经元的权值是固定的。池化层则是在连续的卷积层中间，用于压缩数据和参数，有保证特征的尺度不变性、特征降维、减小过拟合等作用。梯度下降法是卷积神经网络中用来使损失函数减低至最小的方法，它可以对网络中的权值参数逐层反向传播，不断迭代训练，进而使网络的精度提高。卷积神经网络的低层由卷积层和最大池化层交替组成，高层则都是由全连接层组成，对应全连接层的输入是由低层进行特征提取得到的特征图，输出则是一个分类器，可以采用逻辑回归、交叉熵回归或者支持向量机等方法对输入图像进行分类。卷积神经网络的全连接层就是对应的传统多层感知器的隐含层和逻辑回归分类器。由于卷积神经网络具有参数共享、稀疏连接等特点，使得其拥有良好的自学习能力、并行处理能力以及容错能力，相较于其它方法泛化能力较为突出，在模式识别、物体检测、图像超分辨等方面已被广泛应用。

图像超分辨(Image Super Resolution)是指由一幅低分辨率图像或图像序列恢复出高分辨率图像，在大量的电子图像应用领域，人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。传统的图像超分辨可以分为三个方面：基于插值、基于重建和基于学习。基于插值的方法主要是通过像线性插值、双三次插值等插值函数来完成；基于重建的方法主要通过概率论和集合论的知识来解决超分辨问题；基于学习的方法则是通过一些传统机器学习算法，比如支持向量机等方法。随着卷积神经网络的广泛使用，现在大部分的超分方法都是使用基于机器学习的方法，通过配对的高分辨率图片和低分辨率图片作为监督信息，来学习重建过程。这些方法已经取得了比较大的成功。

生成对抗网络(Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型和判别模型的互相博弈学习产生更理想的输出。现在生成模型和判别模型大部分都是使用神经网络来设计。判别模型的输入是一副图像，输出是一个概率值，表示判断真假；生成模型的输入是一组随机数，输出是一个图像，目的是生成样本。两个模型相互博弈，目的就是使生成模型生成更逼真的样本，使得判别器也分辨不出来。训练这个模型时使用单独交替迭代训练的方法，也就是训练一次生成器，在训练一次判别器，再训练生成器，以此类推。生成对抗网络的强大之处就在于可以自动的学习原始真实样本集的数据分布。