[发明专利]基于卷积神经网络的视频编码后置滤波方法

说明书

基于卷积神经网络的视频编码后置滤波方法，包括卷积神经网络模型训练步骤和滤波步骤，训练步骤包括：设置视频压缩的量化参数为20至51对原始视频进行编码压缩，得到压缩视频；对所有视频进行帧提取得到多个压缩视频帧‑原始视频帧的帧对；将提取得到帧对按帧类型和量化参数的不同划分为多个组；搭建卷积神经网络框架并初始化网络参数，使用前述划分的组分别对神经网络进行训练，得到对应于不同量化参数和帧类型的多个神经网络模型。滤波步骤包括：将得到的多个神经网络模型嵌入至视频编码器的后置滤波环节；对待处理的原始视频执行前述的编码压缩和帧提取得到待处理帧对，并依据待处理帧对的量化参数和帧类型选择对应的神经网络模型进行滤波处理。

技术领域

本发明涉及计算机视觉和视频编码领域，具体涉及一种基于卷积神经网络的视频编码后置滤波方法。

背景技术

随着科技的发展和各种视频显示设备的丰富，视频已经日益成为人们生活中不可缺少的部分，在各个领域发挥着十分重要的作用。过去的几十年来见证了视频分辨率与显示设备屏幕的巨大发展，而超高分辨率的视频会产生庞大的数据量，这会对网络带宽产生极大的负担。因此，需要高效的视频编码和传输技术来保证用户观看视频的体验，同时尽可能地降低视频的数据量，为网络带宽减负。鉴于此，研究人员在几十年来不断研究高效的视频编码方法。视频编码技术，主要是通过移除视频中的冗余信息来减少视频的数据量以达到有效地储存和传输大量视频数据，其旨在尽量保持原视频质量的前提下，以更低的码率压缩视频。

然而，当前的视频编码标准主要都是基于块的混合视频编码技术，在这种编码框架下，基于块的帧内/帧间预测、转换以及粗量化都会导致视频质量的下降，尤其是在低码率的情况下。因此，减少视频编码中的失真成为当前视频编码领域的研究热点之一。虽然，在当前视频编码标准中也采取了一些算法来减少块效应和提高主观质量，但是其效果还不够理想，处理后的视频仍存在明显的块效应和边缘模糊，细节丢失仍比较严重。

发明内容

本发明的主要目的在于利用卷积神经网络对非线性变换的强拟合能力，提出一种基于卷积神经网络的视频编码后置滤波方法，该方法建立起有损视频帧到无损视频帧的映射，从而近似得到视频编码中失真过程的逆变换，来达到减少失真的目的。

本发明为达上述目的所提供的技术方案如下：

一种基于卷积神经网络的视频编码后置滤波方法，包括卷积神经网络模型的训练步骤以及后置滤波处理步骤，其中：

所述训练步骤包括S1至S4：

S1、设置视频压缩的量化参数为20至51，对原始视频进行编码压缩，得到压缩视频；

S2、对所述压缩视频和所述原始视频进行帧的提取，得到多个帧对，每个所述帧对包含一压缩视频帧和一原始视频帧；

S3、将步骤S2提取的帧对按照帧类型和量化参数的不同划分为多个组；

S4、搭建卷积神经网络框架并初始化网络参数，使用步骤S3划分的组分别对神经网络进行训练，得到对应于不同量化参数和帧类型的多个神经网络模型；

所述后置滤波处理步骤包括S5和S6：

S5、将步骤S4得到的多个神经网络模型嵌入至视频编码器的后置滤波环节；

S6、对待处理的原始视频执行步骤S1和S2得到待处理帧对，并依据待处理帧对的量化参数和帧类型选择对应的神经网络模型进行滤波处理。

量化参数和帧类型的不同导致它们的失真性质也不同，本发明在训练和实际处理过程中都是提取原始视频和压缩视频组成的帧对，以此建立起有损视频帧和无损视频帧的映射；并通过训练出针对不同量化参数和帧类型的神经网络模型嵌入到编码器中后置滤波环节进行滤波处理，充分考虑量化参数和帧类型对失真程度的影响，采用本发明的方法先判别帧的量化参数和帧类型，再选择量化参数和帧类型都与之对应的神经网络模型来进行滤波，从而可以有效抑制失真。