[发明专利]基于感知保持卷积网络的图像质量增强方法

说明书

本发明公开了一种基于感知保持卷积网络的图像质量增强方法，解决了手机由于硬件限制造成的拍摄图像质量不如单反相机的问题。实现步骤为：收集训练使用的图像块对；使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络G_T和G_S；构建图像质量判别器网络D；训练图像质量增强教师网络G_T和图像质量判别器网络D，结合知识蒸馏训练图像质量增强学生网络G_S；使用训练好的网络进行图像增强。本发明以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野，使用知识蒸馏提升具有相同结构，规模较小的图像质量增强网络的图像增强效果，降低了计算机资源消耗，可用于移动设备的图像质量增强服务。

技术领域

本发明属于图像处理技术领域，更进一步涉及手机拍摄图片的图像质量增强效果，具体是一种基于感知保持卷积网络的图像质量增强方法。可用于移动设备的图像质量增强服务。

背景技术

近年来，随着移动设备的普及以及微型相机传感器和镜头质量的不断提高，智能手机摄影变得流行起来。与此同时，人们对图像质量的需求也越来越高。如何提升手机拍摄图像质量成为现今一大难题。受限于手机的体积大小，手机的镜头以及感光芯片的大小要比单反相机的小得多，导致了手机拍摄图像的质量不如单反相机拍摄的图像。为了在不改变硬件的前提下使手机拍摄图像能达到单反相机的效果，人们提出了图像质量增强算法。该算法可以通过数字计算生成高质量的图像。由于该方法通过软件实现，不需要改变手机的拍摄设备，能搞大大节约提高图像质量的成本。该技术获得国内外学术界与商业界的极大关注和深入研究，具有重要的理论意义和应用价值。

Andrey Ignatov和Nikolay Kobyshev在文章“DSLR-Quality Photos on MobileDevices with Deep Convolutional Networks”(IEEE International Conference onComputer Vision(ICCV).2017)中提出了一种基于卷积神经网络和对抗生成网络的图像质量增强方法，该方法结合了颜色损失，纹理损失，内容损失和总变分损失来构建一个总的损失函数用于训练网络，并建立了一个由手机拍摄图片和对应由单反相机拍摄的相同内容图片的数据集，用于训练和测试用于图像质量增强的网络。该方法中的图像质量增强卷积神经网络使用了4个含有2个卷积层的残差模块，虽然图像质量增强效果显著，但是计算量过大，对一张由手机拍摄的图片进行质量增强所耗费的时间过长。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种图像质量增强质量更好，质量增强过程速度更快的基于感知保持卷积网络的图像质量增强方法，其特征在于，包括有如下步骤：

步骤1)收集训练使用的图像块对：对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪，得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块，将手机拍摄图像标签设为手机图像，将单反图像拍摄图像标签设为单反图像将手机拍摄图像块标签设为手机图像，将单反图像拍摄图像块标签设为单反图像，所有的带标签的图像块对作为训练集；

步骤2)构建图像质量增强网络：使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络；

(2a)构建层数较多的M图像质量增强教师网络G_T：首先使用以非对称方式组合的两个一维卷积层、再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块，最后再使用两个二维卷积层，依次连接构建网络层数较多的M图像质量增强教师网络G_T；

(2b)构建层数较少的N图像质量增强学生网络G_S：首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块，最后再使用一个二维卷积层，依次连接构建网络层数较少的N图像质量增强教师网络G_S；