[发明专利]一种基于重建流场的压缩视频质量增强方法

说明书

本发明公开了一种基于重建流场的压缩视频质量增强方法，属于视频质量增强技术领域。本发明构建了视频增强网络模型，其循环单元接受当前帧与相邻两帧关键帧作为输入，并结合上一帧的深度特征进行流场融合处理，再经多层级连的残差卷积模块得到当前帧的深度特征；基于核注意力模块在时域残差的引导下对深度特征进行处理，随后使用卷积层重建出质量增强残差，与输入相结合得到最终重建的高质量视频帧，抑制掉了压缩带来的噪声、伪影和模糊等影响视觉效果的因素，重建出高频纹理细节，提高了用户对网络视频等的观看体验。本发明利用到压缩编码时的先验信息，提高了视频帧间对齐的精度，在帧的空间维度和序列帧的时间维度上都取得了更好的重建效果。

技术领域

本发明属于视频质量增强技术领域，具体涉及一种基于重建流场的压缩视频质量增强方法。

背景技术

近年来为进一步降低视频的传输带宽和存储空间占用，H.264/AVC和H.265/HEVC等先进视频压缩标准被广泛用于视频压缩与传输中。为了达到更高的压缩率，这些有损压缩方法往往会造成视频质量的严重下降，引入各种噪声和伪影(如块效应、振铃效应、模糊等)。压缩导致的视频质量降低不仅会极大地影响观看效果，还会对下游的计算机视觉任务(如分类、识别、检测和跟踪等)带来不同程度的影响。因此，在面向网络传输和AI分析等应用环境中，对压缩视频质量的增强技术需求十分迫切。

受到视频编码器的压缩，视频帧间的质量往往会出现较大的波动。其中，常见的情况是压缩后的视频会周期性地出现高质量的视频帧，高质量帧中包含了更多可用于提升低质量帧重建效果的互补信息，如物体细节纹理等信息，如何利用这些互补信息就变得极为关键。

为了更好的利用到帧间的互补信息，现有的方法可以大致分为两类，一类是通过在视频帧上通过滑动窗口的方式，利用时域上局部范围内的互补信息辅助进行重建，质量提升效果相比于单帧重建方法更好。但是基于滑动窗口的方法受限于时域上局部感受野，并不能利用到整个序列上更加丰富的信息，而另一类方法采用循环传播结构的方法，借助循环神经网络的优势，可以在不增加太多参数量的情况下，利用到时域上全局的信息，从而实现重建效果的进一步提升。视频压缩的过程中会带来各种先验信息，其中比较重要的一些包括压缩过程中的量化参数、在帧间编码时用于运动补偿的运动矢量等。这些先验信息可以直接从编码时的码流信息中提取出来，其中包含了大量有利于重建任务的信息。在本发明的技术方案的实现过程中，发明人发现：视频压缩的过程中会带来各种先验信息，其中比较重要的一些包括压缩过程中的量化参数、在帧间编码时用于运动补偿的运动矢量等。这些先验信息可以直接从编码时的码流信息中提取出来，其中包含了大量有利于重建任务的信息。若在压缩视频质量增强处理能对这些先验信息充分利用，应该能提升压缩视频质量增强的增强效果。

发明内容

本发明提供了一种基于重建流场的压缩视频质量增强方法，通过充分利用视频压缩时产生的先验信息来进行质量增强重建，以显著提升了重建质量。

本发明采用的技术方案为：

一种基于重建流场的压缩视频质量增强方法，所述方法包括：

步骤1，构建模型训练数据集：

对无压缩视频序列构成的视频数据集中的每个视频进行压缩编解码，到得到每个视频序列所对应的不同压缩质量视频；在压缩编解码时提取码流中的先验信息，包括编码帧的量化参数QP和运动矢量MV；

视频数据集中的各视频帧定义为高质量视频帧，压缩编解码后视频帧为低质量视频帧，得到高-低质量视频对；

对高-低质量视频对进行图像预处理，基于指定长度的连续视频序列的高-低质量视频对，以及对应的先验信息得到一个样本数据，基于一定数量的样本数据得到模型训练数据集；

步骤2，构建及训练视频增强网络模型；

所述视频增强网络模型包括循环结构和重建模块；