[发明专利]基于对抗生成网络的视频编解码环路内滤波实现方法及系统

摘要

一种基于对抗生成网络的视频编解码环路内滤波实现方法及系统，使用视频编解码算法编码并解码得到的视频作为训练数据，使用生成模型和辨别模型联合训练的方法训练一卷积神经网络并得到预训练模型，最后在视频编解码环路内使用所述预训练模型，在视频编解码算法的环路内对每一张重建视频帧进行图像质量恢复，有选择地使用输出图像更新原图像。本发明具有更强的鲁棒性和拓展性，能够处理视频压缩编码后的重建帧，比基于一般传统卷积神经网络的环路内滤波器图像恢复效果更接近原始图像，提升图像质量，进而提升视频压缩编码的效率。

主权项

1.一种基于对抗生成网络的视频编解码环路内滤波实现方法，其特征在于，使用视频编解码算法编码并解码得到的视频作为训练数据，使用生成模型和辨别模型联合训练的方法训练一卷积神经网络并得到预训练模型，最后在视频编解码环路内使用所述预训练模型，在视频编解码算法的环路内对每一张重建视频帧进行图像质量恢复，有选择地使用输出图像更新原图像。

2.根据权利要求1所述的方法，其特征是，所述的训练，即基于训练数据和预设的网络结构，对卷积神经网络的参数使用生成模型和辨别模型联合训练的方法进行优化的过程。

3.根据权利要求2所述的方法，其特征是，所述的预设的网络结构包括生成模型和辨别模型，其中：生成模型以视频压缩算法得到的视频帧作为输入，以视频帧的编码划分情况作为代价函数的输入，在计算输出图像与原图像的差异时，给予划分图像的白色部分图像的边界以更高的权重，使网络的优化倾向于去除边界效应的方向发展；用来区分生成的图片和真实图片辨别模型为分类网络结构。

4.根据权利要求1所述的方法，其特征是，所述的训练数据是指：以视频编解码算法编码并解码得到的视频的视频帧和其所对应的原始视频帧的划分子图，即以64x64为大小划分得到的若干个不相交的子图。

5.根据权利要求1所述的方法，其特征是，所述的视频帧的编码划分情况是指：在视频编解码算法在编码过程中产生的划分图。

6.根据权利要求1所述的方法，其特征是，所述的生成模型由多个用于提取输入图像不同大小的特征并将其融合的卷积层和用于恢复图像的上采样层构成，生成模型最终输出与输入图像大小一致、质量改善的图像。

7.根据权利要求1或4所述的方法，其特征是，所述的图像质量恢复是指：将视频帧的Y通道图像以64x64为单位分成若干个不相交的子图，使用预训练的模型分别对每一子图进行处理，得到输出图像。

8.根据权利要求1所述的方法，其特征是，所述的更新，当输出图像的视频质量与输入图像相比有提升，则使用该输出图像更新输入图像，否则不更新。

9.根据权利要求8所述的方法，其特征是，在编码过程中使用一比特记录该图像是否更新，并写入编码最终产生的码流中；在解码过程中以所述比特位作为是否更新的依据。

10.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：训练数据生成模块、联合训练模块和滤波模块，其中：训练数据生成模块与联合训练模块相连并传输其生成的训练数据，联合训练模块与滤波模块相连并传输其训练得到的与训练模型，滤波模块可用于在视频编解码环路内进行滤波。