[发明专利]一种基于GAN的HEVC压缩视频视觉感知提升方法

说明书

本发明提出了一种基于GAN的HEVC压缩视频视觉感知提升方法。GAN提供了一种接近感知‑失真平衡的原则，在控制失真的前提下，能提高压缩视频序列的视觉感知质量。因此，本发明在提高HEVC压缩视频主观视觉感知质量的工作中，通过利用GAN的对抗性损失最小化生成图像的分布与自然图像的分布之间的距离，并且结合HEVC压缩后的视频帧能有效指导GAN的生成网络学习从已编码帧到原始帧的映射，同时通过GAN的判别网络来不断逼近这种映射。最后将所提GAN网络与SRGAN和ESRGAN用于压缩视频后处理相比，该后处理网络可以获得更好的重建视觉效果，同时可以将客观失真控制在一定范围内。

技术领域

本发明涉及视频编码领域中的视频质量提升方法的研究，尤其是涉及一种基于GAN的HEVC压缩视频视觉感知提升方法的方法。

背景技术

HEVC作为主流视频编码标准，虽然能取得很好的压缩效率，但在压缩和传输过程中不可避免会造成视频质量损失，这种损失既指客观质量上的失真，也包含主观视觉效果的模糊。图像恢复算法通常通过一些失真来度量，例如：PSNR、SSIM、IFC、VIF，这些失真度量因为要使用原图进行评估称为全参考指标。但在实际传输任务中，原图像并不一定可获得，只能通过需要处理的降质图像进行重建效果评估，这种评估失真的方式称为无参考指标，例如量化视觉感知质量的人类意见评分。实际客观失真度量和视觉感知质量并不是一一对应的，具体来说，随着平均失真的减少，能正确区分是图像恢复算法的输出或者真实图像输出的最佳概率反而会增加(表明是为更差的视觉感知质量)，这个结果对于任何失真度量都是满足的，不仅仅是常用压缩性能评价标准指标PSNR和SSIM，GAN网络还提供了一种接近感知质量和失真度量平衡的原则。

GAN网络的对抗性损失能很好地学习图像分布间的映射，提高视觉效果，基于GAN网络进行的图像超分辨率重建工作取得了较好的视觉效果。同时在压缩伪影去除的工作中，GAN被证明具有减少伪影的强大能力。现今有学者提出了使用生成对抗框架训练的前馈全卷积残差网络模型，并可以通过优化结构相似度来进行训练，所提GAN能够生成具有更多真实感细节的图像。还有通过GAN进行帧内编码的后处理学习，提出了一种多层递进细化网络MPRNet，该网络可以在一次前馈中预测多级残差，这种从粗到精的细化方式使MPRNet可以在细化的质量和计算复杂度之间进行权衡，这有利于在资源感知型背景下应用。同时有学者提出了一种具有递归框架的对抗学习方法，称为视频伪影去除生成对抗网络VRGAN，VRGAN包含一个生成器，该生成器具有可提高视频一致性的循环框架，一个可增强大型转换单元接收场的密集块，以及一个相对论鉴别器，可评估生成的帧与原始高质量帧之间的关系，所提网络能够生成更逼真的视频。还有学者提出采用GA进行图像超分辨率工作的SRGAN，SRGAN中采用一种感知损失函数，它包含对抗损失和内容损失，使用对抗损失将失真图像逼近自然图像。在SRGAN的基础上，通过分析超分图像的细节常常伴随着令人不愉快的伪影，为提高视觉质量，提出ESRGAN，引入残差密集块，将其不进行批量归一化，这样的结构作为基本的网络构建单元，并使用激活前的特征来改善感观损失，从而可以对亮度一致性和纹理恢复提供更强的监督。

在控制重建图像与真实图像间差异的前提下，GAN生成的图像更加符合自然图像的分布，能重建出更好的视觉效果。随着4G时代的普及以及5G时代的到来，人们对图像视频的质量和分辨率要求越来越高，也更加追求解码视频感知效果的舒适性，因此需对压缩视频提升主观视觉感知质量。

经过HEVC压缩解码后的视频帧能通过GAN的生成网络学习从已编码帧到原始帧的映射，并通过GAN的判别网络来不断逼近这种映射，实现视频帧主观视觉感知的提升，最终有效去压缩。因此，本发明将提出一种基于GAN的HEVC压缩视频视觉感知提升方法网络结构，结合GAN的感知及失真平衡特性有效提高HEVC压缩视频的感知质量。

发明内容