[发明专利]基于注意力机制和时间依赖性的压缩视频质量增强方法

说明书

本发明属于数字视频处理技术领域，具体为基于注意力机制和时间依赖性的压缩视频质量增强方法。本发明包括：构建基于注意力机制的FAM模块；构建帧间长期时间依赖关系指导的LDE特征融合模块；构建精细的帧间短期时间依赖关系指导的RSDE特征融合模块；使用FAM模块根据输入的多个连续帧的贡献得到赋予了不同注意力的特征信息；再用一个LDE模块从这些相邻帧之间的特征中提取长期时间依赖信息，得到中间结果以及特征信息；最后组合FAM和RSDE模块从前一个增强后的帧中有选择地提取短期时间依赖关系，生成最终的增强结果。实验表明，本发明在包含各种真实场景的测试集上都能增强视觉质量，在客观质量评价指标中有很大提升。

技术领域

本发明属于数字视频智能处理技术领域，具体涉及一种视频质量增强方法。

背景技术

随着计算机技术和网络通信技术不断地发展，大量的视频信息涌入互联网，这对当前的存储和传输技术带来了巨大的挑战。因此各种视频压缩技术应运而生，比如MPEG(Moving Picture Experts Group)、HEVC(High Efficiency Video Coding)[2]标准等。然而这些视频信息被有损地压缩以获得更高的压缩率，使得解压缩后的视频总是会丢失一些重要的高频信息，并产生一些类似于块效应和振铃等伪影，导致其视觉质量严重降低。

压缩视频质量增强方法(Qulity enhancement of compressed video)是用来消除压缩视频中的压缩伪影，并恢复丢失的细节信息，从而提升视频的质量。

近年来，由于深度学习在图像视频处理领域的广泛引用，出现了很多使用神经网络去增强压缩视频质量的方法。这些方法主要分为两种：第一种是使用直接从视频解码端获取的残差信息或者编码单元(CU)分块信息作为参考信息，从而辅助网络去增强压缩帧的质量，比如Jia[3]、Meng[4]等人；而另一种则是考虑到压缩后的视频中会有明显的质量波动，于是Yang[5,6]先把所有的帧根据质量的好坏分成两种帧，然后在增强质量不好的帧时，使用相邻的几个质量高的帧去辅助增强该帧。

但是这些方法都有自己的弊端，第一种方法必须要使用到解码端附带的参考信息，而这些信息在大多数实际应用场景中是无法获取的，这就使得该方法有一定的局限性。而第二种方法中要训练一个网络去根据相邻帧之间微妙的客观质量差距去区分出质量的好坏是很难实现的，这无疑会产生很多不必要的误差，另外这些质量好的帧之间总是会有一定的时间间隔，即作为网络输入的多个帧之间会存在更大的运动，也大大增加了网络训练的难度。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于注意力机制和时间依赖性的压缩视频质量增强方法，以消除视频中的压缩伪影，恢复丢失的细节信息，从而增强压缩视频的质量。

本发明提供基于注意力机制和时间依赖性的压缩视频质量增强方法，具体步骤为：

(1)构建基于注意力机制的用于提取多帧特征信息的FAM模块；

(2)构建帧间长期时间依赖关系指导的LDE特征融合模块；

(3)构建精细的帧间短期时间依赖关系指导的RSDE特征融合模块；

其中，FAM模块在CBAM[1]的基础上构建，由一个提取每个输入帧的帧内特征的卷积层W₀和一个为每个帧的特征信息赋予相应权重的注意力模块AM组成。

对于输入的相邻连续帧{X_t-N/2,...,X_t,...,X_t+N/2}，首先使用一个卷积层W₀分别提取每个输入帧的特征信息，卷积层W₀对于每个帧都是参数共享的，然后将其级联在一起得到