[发明专利]一种基于超分辨率重建的显示画质优化方法及系统

说明书

本发明涉及一种基于超分辨率重建的显示画质优化方法及系统，该方法包括超分辨率重建过程和对比度增强过程，超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；GAN网络框架由生成器和判别器两部分组成，生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。该方法及系统有利于重建出视觉感受更好、更为真实的图像。

技术领域

本发明属于图像处理领域，具体涉及一种基于超分辨率重建的显示画质优化方法及系统。

背景技术

随着信息产业的飞速发展，显示器的分辨率标准从VCD时代的360P标准一直更新到目前的全高清1080P和4K标准。与此同时，一系列画质增强技术:动态补偿、HDR和超分辨率重建等蓬勃发展，使市场对显示画质的要求越来越高。不断增加的分辨率给设备的处理性能、储存方式和网络传输等带来了巨大的挑战。由于信号源的画质远无法匹配高分辨率显示设备的性能，最终导致呈现在显示设备上的画面与人们的视觉感知期望有较大的差距，浪费了高分辨率显示设备的硬件性能。所以，通过画质增强算法，以尽可能高的品质在显示设备上优化图像显示有重要的研究意义。

在现有的实际应用中，画质增强系统往往采用传统的超分辨率算法。传统算法的计算量较少，但是效果较差。基于机器学习的超分辨率算法则主要包括卷积神经网络(CNN)和生成对抗网络(GAN)两大类。基于CNN的算法对于人眼的主观观感较为一般。2017年，Christian Ledig等人提出了SRGAN，为图像SR领域引入了生成对抗网络。SRGAN利用感知损失(perceptual loss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。相比基于CNN重建得到的网络，其重建生成的图像有更多的高频细节，拥有更好的视觉效果。然而其在超分辨率重建领域中的应用仍不够成熟，有较大的发展空间。

在超分重建之后，虽然清晰度上升，但要继续提高观感，则需要再加入对比度增强算法。目前，随着HDR技术的逐渐普及。图像对比度也成为了影响图像质量的关键因素之一。经过对比度增强的图像能极大的提升观感。

目前的研究对于基于学习的算法还有很大的提升空间。所以，为了能达到更好的图像处理效果，有必要设计一种新方法针对显示画质进行增强。

发明内容

本发明的目的在于提供一种基于超分辨率重建的显示画质优化方法及系统，该方法及系统有利于重建出视觉感受更好、更为真实的图像。

为实现上述目的，本发明采用的技术方案是：一种基于超分辨率重建的显示画质优化方法，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。

进一步地，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。

进一步地，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和Leaky ReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。

进一步地，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；