[发明专利]一种基于可变形卷积的宽QP范围环路滤波方法

说明书

本发明涉及一种基于可变形卷积的宽QP范围环路滤波方法，属于视频编码领域。本方法利用可变形卷积灵活的感受野与形变建模能力，自动学习视频特征，并通过密集残差连接，进行特征强化，以达到增强压缩视频质量的目的；同时提出一种QP注意力模块，提高该方法的泛化能力，使该方法能够同时提升不同QP下的压缩视频质量。本发明方法能够显著提升压缩视频的主客观质量。

技术领域

本发明涉及视频编解码领域，尤其涉及一种基于可变形卷积的宽QP范围环路滤波方法。

背景技术

现有的视频编码标准，如H.264、HEVC、AV1等均使用基于块的编码结构，而编码块间缺乏相关性，导致压缩后的视频中产生明显的块效应，极大地影响了视频的观看体验。因此视频编码过程中通常使用环路滤波模块，以降低视频中的块效应等压缩伪影，提升视频编码性能。

传统环路滤波器受限于计算复杂度问题，对视频质量的改善效果有限。尽管当前的深度学习方法显著提升了视频编码中环路滤波器的性能潜力，现有的基于深度学习的网络模型仅对单一量化参数(Quantization Parameter，QP)有效，若测试视频的量化参数与假设的取值不匹配，则会导致模型的处理性能大大降低。现有环路滤波方法对不同QP压缩的视频的处理中，需要针对某一特定量化参数(或者某一个小量化参数范围)分别训练出一个模型，进行滤波，这造成了额外的存储负担，影响方法模型的实际部署。因此，如何设计出单一模型能够同时处理宽QP范围压缩后的视频，并获得较好的视频主客观质量，是一个亟待解决的问题。

发明内容

本发明的目的在于提高HEVC的环路滤波器性能，提出一种基于可变形卷积的宽QP范围环路滤波方法。

本发明解决其技术问题所采用的技术方案是：

一种基于可变形卷积的宽QP范围环路滤波方法，包括：

步骤1：制作数据集。收集大量视频、图片，并将其转换为HEVC编码所需的YUV420格式，利用HEVC标准测试平台HM-16.9，以全I帧配置模式对其进行编码，编码过程中关闭平台中的环路滤波模块，获得4种量化等级下(QP＝22，27，32，37)的未滤波重建视频作为训练集。

步骤2：构建网络模型。该网络模型主要由3个模块组成：基于可变形卷积的轻量型特征生成模块、QP注意力模块、和基于通道注意力机制的特征增强模块。

步骤3：特征提取模块处理。将压缩后的视频图像输入基于可变形卷积的轻量型特征生成模块，该模块由一个U型网络组成。基于可变形卷积的轻量型特征提取模块的主要组成部分是一个U型网络，其主要由压缩模块与扩展模块组成。压缩模块包含3个卷积块，每个卷积块包含两个卷积层，层间由激活函数PReLU连接。为了压缩所得特征，第2个卷积的步长为2，在维持特征图数目不变的同时将特征图尺寸缩小为1/2，最终得到尺寸为原来1/8的特征图。降采样后的特征图输入特征扩展模块。该路径同样由3个卷积块组成，每个卷积块开始之前通过反卷积将特征图的尺寸放大2倍，然后使用跳跃连接和左侧对称的压缩模块的特征图进行合并，经过3个特征扩展模块，最后输出与输入大小一致的特征图。经过U型网络压缩与激发后的特征图，输入后续的可变形卷积层，学习二维坐标偏移进一步提取特征中的形变信息。

步骤4：QP注意力模块处理。该模块主要由生成器与控制器组成，生成器与控制器的实质是两个多层感知器(Multi-Layer Perceptron，MLP)。生成器、控制器的层数分别与U型网络中压缩、扩展模块中的卷积块个数相同，在本章实验中设置为3。生成器的输入为当前编码的量化参数QP，经由3个节点数均为64的线性层，生成64个QP特征f_QP。控制器以生成器的输出作为输入，根据相应的QP特征f_QP，控制输出的特征图。该控制器可以根据输入的QP特征学习一组特征图的仿射变换映射函数M，即每个线性层均可根据QP特征学习到一组与QP有关的调制参数对(γ,β)，并根据(γ,β)自适应调整输出特征图。