[发明专利]用于视频编码帧间环路滤波的模型训练方法和使用方法

说明书

本发明公开了一种用于视频编码帧间环路滤波的模型训练方法和使用方法，属于视频数据处理技术领域，首先经过训练得到零次模型，然后基于零次模型进行迁移学习得到一次模型，重复N次之后可得到N次模型。其中N的值由编码参数决定。将该模型用于编码器的环路滤波时，根据编码参数决定选用零次模型还是N次模型。本发明所提出的模型训练和使用方法模拟了视频帧间编码时编码帧之间具有参考关系这一现象。相比于局部最优的初始模型，本发明能够得到一个近似全局最优的模型，当其用于环路滤波时，能够显著提高视频帧间编码的压缩效率。

技术领域

本发明涉及视频数据处理技术领域，具体地说，涉及一种用于视频编码帧间环路滤波的模型训练方法和使用方法。

背景技术

有损视频编码会给图像带来块效应、振铃效应等，大大降低了重建图像的质量。视频编码标准采用环路滤波来消除上述效应，在提高视频图像的主观质量的同时，也提高了客观质量。传统环路滤波是从信号处理的角度出发，人工设计了各种算法，如H.265/HEVC中的Deblocking、SAO。利用神经网络也可以设计环路滤波算法，甚至达到比传统算法更高的压缩效率。

在基于神经网络的环路滤波算法中，涉及两个关键问题，一是神经网络结构的设计，二是如何训练该神经网络模型。在训练神经网络时，以往工作一般采用直接训练的方式来训练网络模型，也就是使用未滤波的图像X作为样本，其对应的原始图像Y作为标签，形成训练集。使用该训练集对所设计的神经网络结构进行训练，最终得到一个神经网络模型。如公布号为CN110351568A的中国专利文献公开的一种基于深度卷积网络的视频环路滤波方法，将获得的两种训练数据集，分别训练用于帧内预测帧滤波和帧间预测帧滤波的两种不同特性的网络模型，这两种模型分别对视频中不同类型的帧进行滤波；以最小化损失函数为优化目标，对视频滤波网络模型进行训练，两种模型分别针对不同类型的视频帧滤波。

这种训练得到的神经网络模型在帧内编码时可以获得较好性能，但是在帧间编码时却带来了性能损失。其原因在于，这种直接训练方式并未充分考虑帧间编码时编码帧之间的复杂依赖关系，得到的模型并不精确，当这种模型用于帧间编码的环路滤波功能时，由于训练与测试条件不符，造成了编码性能下降，。

发明内容

本发明的目的为提供一种用于视频编码帧间环路滤波的模型训练方法和使用方法，考虑到了帧间编码时编码帧之间的依赖关系，在训练时模拟了编码帧之间有参考这一现象，显著提升了编码效率与重建图像的主观质量。

为了实现上述目的，第一方面，本发明提供了一种用于视频编码帧间环路滤波的模型训练方法，包括以下步骤：

步骤1)构建一个神经网络，使用未经滤波的图像X作为样本，其对应的原始图像Y作为标签，形成初始训练集；使用初始训练集对神经网络进行训练，得到一系列零次模型；

步骤2)选择若干未经滤波的图像组成验证集，使验证集与训练集中的图像不重合；根据模型选择方法从步骤1)中得到的一系列零次模型中选择一个零次模型NN₀；

步骤3)使用零次模型NN₀对训练集中未经滤波的图像X进行滤波，得到一次滤波图像X₁；

步骤4)将未经滤波的图像X、一次滤波图像X₁作为样本，对应的原始图像Y作为标签，形成一次训练集；使用一次训练集，在零次模型NN₀的基础上进行迁移学习，训练得到一系列一次模型；

步骤5)基于验证集，根据模型选择方法从一系列一次模型中选择一个一次模型NN₁；

步骤6)使用一次模型NN₁对初始训练集中的未经滤波的图像X进行两次滤波，得到新的一次滤波图像X₁’和二次滤波图像X₂；