[发明专利]基于cGAN算法的图像超分辨恢复技术

说明书

技术领域

本发明属于计算机图像视觉领域，基于生成深度卷积对抗神经网络图像超分辨恢复。

背景技术

自从2012年AlexNet卷积神经网络横空出世后，神经网络俨然已成为现在learning的主流。比起贝叶斯学派的强先验假设(priori)，SVM在核函数(kernel)上的反复钻研，神经网络不需要科研者过多关注细节，只需要提供好海量的数据和设置好超参数，便能达到不错的效果。期刊文献(Goodfellow I J,Pougetabadie J,Mirza M,et al.Generative Adversarial Networks[J].Advances in Neural Information Processing Systems,2014,3:2672-2680.)，是GAN的开山之作。GAN原理比较简单，这里以生成图片为例进行说明，GAN包含两个网络：生成器G(Generator)和判别器D(Discriminator)。G是一个生成图片的网络，接收随机噪声z，通过这个噪声生成图片，记做G(z)；D是一个判别网络，D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。在训练过程中生成网络G尽量生成目标图像去欺骗判别器D，而判别器D的任务则是将G生成的图像和目标图像分别开来，输出代表真实目标图片的概率。这样G和D构成一个动态的“博弈过程”。最终理想结果就是G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实目标的。

相近的实现方案：例如文献1(Dong C,Loy C C,He K,et al.Image Super-Resolution Using Deep Convolutional Networks.[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2016,38(2):295.)中率先提出利用深度学习进行图像的超分辨恢复。该论文中利用三层卷积神经网络，网络输入为灰度的低分辨图像，输出端为对应的高分辨图像，进过大量的训练得到相应的模型再对低分辨图像进行测试从而得到超分辨图像。

文献1的方法中，需要进行大量的训练，并且网络层相对交浅所以训练得到的模型包含的特征权值不够全，所以最后恢复效果并不理想。训练时用的是灰度图，所以对三通道彩色图像的超分辨恢复效果不好。

发明内容

针对现有技术存在的不足，本发明提供对抗神经网络(GAN)图像超分辨率恢复的方法，可以训练彩色图像达到更好的恢复效果。

为实现上述目的，所提出的一种基于cGAN图像超分辨率恢复，包括如下步骤：

(1)制作训练集及图像集。

(2)设计神经网络并进行调整。

(3)进行训练。

(4)得到模型进行测试。

与现有技术相比较，本发明具备以下优点：

(1)训练时间短，由于网络的优越性需要少量的训练次数就可以达到较好的效果；(2)可以直接训练三通道彩色图，采用了三通道训练的接口代码；(3)无需太多的图像预处理，只用讲图像分割成统一大小即可；(4)训练出模型后可以一劳永逸的使用,只需训练出模型然后可以用到很多图像重建的场所如监控设备拍摄的不清晰图像，可以对其进行超分辨恢复来达到更好的显示效果。

附图说明

图1本发明生成器G网络结构图；

图2本发明判别器D网络结构图；

图3本发明方法算法流程图。

具体实施方式

本发明提供了一种基于cGAN图像超分辨率恢复，如图3所示，其包括以下步骤：

(1)制作训练集及图像集。

(2)设计神经网络并进行调整。

(3)进行训练。

(4)得到模型进行测试。

上述1)制作训练集及图像集。具体包括以下步骤：

11)通过python编写代码。

12)下载超分辨研究常用的图像。

13)利用上述代码对图像进行分割成统一的大小。

14)对13)得到的图像进行低分辨处理得到两份图像分别是低分辨和原始高分辨图像。

上述2)设计神经网络并进行调整。具体包括以下步骤：