[发明专利]基于非配对学习的提升视频清晰度的方法及装置

说明书

本发明提供一种基于非配对学习的提升视频清晰度的方法及装置，包括：对于给定的低清晰度视频，选择内容相似的非配对高清晰度视频作为参考并进行降采样使其相似度相近，取高低清晰度视频关键帧中的亮度分量进行量化并随机裁切图像块，形成低清晰度‑非配对高清晰度图像数据集；建立基于卷积神经网络的低清晰度图像生成器、低清晰度图像判别器和高清晰度图像生成器；通过综合目标函数训练生成对抗网络，使得两个生成器都能实现更好的低高清晰度图像域之间的相互映射。本发明使用视频内容主体相似的非配对真实低高清视频进行训练，跳脱出了以往配对学习方法中特定质量退化方式的限制，利用非配对学习的方法实现了低清晰度视频图像的联合增强。

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种基于非配对学习的提升视频清晰度的方法及装置。

背景技术

清晰度是指在图像分辨率相同的情况下，人眼感知的物体边界轮廓、细节纹理的显著程度。一般来说，更多的局部细节纹理与更高局部对比度能够让人眼感知到更高的清晰度。现存的大量旧影视片的摄影装置质量低于当前的主流摄影装置，因此老片与现在的摄像机拍摄的视频相比，往往存在清晰度低的问题。有的老片使用胶片相机拍摄，使用扫描仪将胶片数字化的过程也可能导致清晰度降低；许多视频由于采用较低码率编码或者传播中经过多次降采样和上采样操作也导致了清晰度的降低。与当前主流的高清晰度影视剧相比，低清晰度视频会让人看不清楚物体的边缘轮廓和纹理细节，从而严重影响人眼的主观视觉体验。

以往的大多数深度学习方法基于配对学习训练神经网络进行视频增强，依靠真实高质量图像与对其施加了某种图像退化模型得到的低质量图像配对进行学习，因此基于配对学习训练的网络往往只针对某个图像退化模型造成的损伤进行修复。基于配对学习的神经网络提高真实低质量视频清晰度存在两个问题：第一个问题为真实低清晰度视频可能存在多种退化原因，如果根据每一种退化原因训练一个增强网络会造成较高的方法复杂度，但多个增强网络可能会相互影响导致增强后的视频出现伪影；第二个问题为难以判断真实低清晰度视频的退化原因，因此只能多次尝试使用不同的网络进行增强并人工判断增强结果的好坏，需要消耗大量人力和时间且不一定能够获得较好的增强效果。现有的非配对学习视频增强同样仍然是针对一个退化的方式进行优化的，而且在数据集的构建过程中往往也只选择针对一个方面的低质量图像，使得网络学到的只是一种退化方式。

发明内容

针对现有技术中存在的不足，本发明提供一种基于非配对学习的提升视频清晰度的方法及装置，考虑到内容相似视频之间的关联，使用真实低清晰度视频与非配对的内容相似的高清晰度视频构建非配对数据集，设计了基于卷积神经网络的低高清晰度图像生成器和低清晰度视频判别器，以及评估图像增强效果的损失函数，并通过训练取得了较好的主观效果与客观指标。

本发明的第一目的，提供一种基于非配对学习的提升视频清晰度的方法，包括：

S1：构建非配对数据集：对于给定的低清晰度视频，选择内容相似的非配对高清晰度视频作为参考并进行降采样使其相似度相近，取低清晰度视频以及降采样后的高清晰度视频关键帧中的亮度分量进行量化并随机裁切图像块，形成低清晰度-非配对高清晰度图像数据集作为训练数据集；对于给定的低清晰度视频，再选择其中连续的一段视频帧图像，取其亮度分量进行量化后作为测试数据集；

S2：建立非配对学习网络，所述非配对学习网络包括基于卷积神经网络的低清晰度图像生成器、低清晰度图像判别器和高清晰度图像生成器，其中，

所述低清晰度图像生成器用于将高清晰度图像转换为低清晰度图像；将高清晰度图像输入所述低清晰度图像生成器，输出假的低清晰度图像；

所述低清晰度图像判别器用于区分输入图像是真实的低清晰度图像还是低清晰度图像生成器输出的假的低清晰度图像；

所述高清晰度图像生成器用于将转换后的低清晰度图像再转换为高清晰度图像；将假的低清晰度图像输入所述高清晰度图像生成器，重建出高清晰度图像；