[发明专利]一种RDN超分辨网络的训练方法及图像生成方法

说明书

本发明公开了一种RDN超分辨网络的训练方法及图形生成方法，其步骤包括：1)将低分辨率样本图像输入到生成器，生成高分辨率图像；2)将生成的高分辨率图像作为假数据，计算该假数据与对应标签数据之间的损失值；3)提取该假数据的特征与对应标签数据的特征，然后计算特征之间的损失值；4)将生成的高分辨率图像及其多个下采样数据作为假数据，根据该假数据与对应真实数据计算生成器中损失函数的损失值；5)将生成的高分辨率图像及其多个下采样数据作为假数据，根据该假数据与对应真实数据计算判别器中损失函数的损失值，进行判别器参数更新；6)将步骤2)～4)所得损失值加权在一起，作为生成器的损失，进行生成器的参数更新。

技术领域

本发明属于超分辨领域，涉及改善一种与深度学习相结合的数据插值方法，可用于残差密集网络RDN(Residual Dense Network)超分辨网络的训练，具体涉及一种新的RDN超分辨网络训练方法及图像生成方法。

背景技术

大量的电子图像应用领域，人们经常期望得到高分辨率(简称HR)图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，电荷耦合器件(CCD)、CMOS图像传感器已被广泛用来捕获数字图像。尽管对于大多数的图像应用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。例如，人们希望得到一个便宜的高分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降；科学家通常需要一个非常高的接近35毫米模拟胶片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵。因此，寻找一种增强当前分辨率水平的方法是非常必须的。

图像插值，即增加单幅图像的尺寸可以增强图像的分辨率。传统的图像插值有最近邻插值法，双线性插值法，三次内插法等。都在一定程度上完成了图像超分辨率任务。但是传统方法没有解决一个基本问题，就是当图片处于低分辨率的时候，图片本身缺少足够的高频信息。传统方法经过线性差值之后，并没有补全足够的高频信息，这使得图片在放大之后面临，边缘模糊，图像不清晰的问题。

深度学习提供了另一种解决思路，通过神经网络强大的学习能力，以及用很深的网络来学习低分辨率图片所能提供的语义信息和边缘信息，通过非线性的方式生成对应的高分辨率图片。

深度学习网络在网络特别深的时候，会发生梯度消失问题，RDN网络在加深网络的同时吸取了desnet网络和resnet网络，将网络的中间信息处理层加深到了100多层，并取得了优秀的成绩，但是仍然存在信息填补不能满足需要的问题。

本发明聚焦RDN在现实应用中所存在的问题，进行了改进，通过使用生成模型的方法来重新训练RDN网络。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种RDN超分辨网络的训练方法及图像生成方法，利用训练后的RDN超分辨网络对低分辨图像进行处理可以生成高分辨率图像。本发明将RDN超分辨网络放在GAN的框架上进行训练，有助于网络学到真实世界的数据分布。而GAN的框架一共分为两个部分，生成器和判别器。生成器部分就是RDN网络结构不变。在每个卷积层都添加普归一化，以促进网络训练的稳定性。而判别器由本发明设计。实验证明，如果判别器的判别能力更强的话，最后生成器生成的结果也会变得更好。为了提升判别起的能力，我们决定采用结合LSGAN的多尺度判别器。

传统GAN有模型崩塌以及生成器经常学习不到有用的东西的问题。模型崩塌的后果是生成模型无法生成多种样本。但是我们的任务是超分辨率，目的就是尽可能的接近原图，所以不必考虑模型崩塌的问题。至于生成器学习不到有用的东西的问题，究其原因是因为生成器和判别器学习能力不对等，经常出现判别器学习速度过快，损失很快降到0，从未导致的生成器无法进行梯度更新。LSGAN已经解决了这个问题，将损失函数变为MSE损失，变成与真实标签的距离。因此无论判别器的损失是否为0，生成器都可以进行更新。