[发明专利]一种视频编解码方法、装置及用于图像滤波的神经网络

说明书

本发明公开了一种视频编解码方法、装置及用于图像滤波的神经网络。所述视频编解码方法，在环路滤波处理中还包括以下步骤：获取经去块效应处理之后的第一滤波图像块或经样本补偿处理之后的第二滤波图像块；基于所述第一滤波图像块和经训练的至少一个第一滤波神经网络获取第三滤波图像块，或者，基于所述第二滤波图像块和经训练的至少一个第二滤波神经网络获取第四滤波图像块。提供了结合深度学习神经网络、改动小、且适用于HEVC的不同模式(包括帧内编码、低延时编码、随机访问编码)的完整的编解码方案。

技术领域

本发明涉及图像处理领域。更具体地，本发明涉及一种视频编解码方法、装置及用于图像滤波的神经网络。

背景技术

随着视频压缩效率的不断提升，对于视频编码框架中高效滤波算法的性能要求也越来越高。在新一代视频编码标准HEVC(HighEfficiencyVideoCoding)当中，环路滤波采用了去块效应滤波和样本补偿滤波两种方式。这两种环路滤波算法不仅从主观质量上得到更优质的效果，更能通过滤波弥补编码和量化过程中引入的失真从而提升重建视频图像的客观质量，并为后续图像的编码提供了更高效准确的预测信息，从而提升了编解码性能。因此高效的环路滤波算法成为视频编码框架中重要的一环。

在HEVC当中，去块效应滤波和样本补偿滤波的主要设计思路分别为：去块效应滤波通过平滑处理编解码单元的块边界附近的像素使得整体的图像质量更平滑从而提升压缩视频重建后的主观质量；而样本补偿滤波通过对每个像素增加偏移值以达到去除部分量化噪声，抑制振铃效应的作用。在标准的制定过程中还出现过自适应环路滤波算法，不过由于复杂度过高而没有被最终采纳为标准。

近年来，深度学习在图像处理及语音信号处理中取得了长足的发展和进步，在许多任务中大幅超越传统算法，成为许多领域中研究的热点和重点。同样，深度学习方法也为视频编解码带来了更多的性能提升。

例如，在“Spatial-Temporal Residue Network Based In-Loop Filter forVideo Coding”一文中，公开了一种用于HEVC帧间编码的环路内滤波器，该滤波器采用了全卷积神经网络来实现，且位于样本补偿滤波之后，将当前编码块和参考编码块同时作为滤波器的输入，能够为帧间编码带来约1.3％的码率增益。在“A convolutional neuralnetwork approach for post-processing in HEVC intra coding”一文中，公开了一种用于HEVC帧内编码的卷积神经网络，该卷积神经网络用于替换环路内滤波器。能够为帧内亮度编码带来平均约4.6％的码率增益。在“Beyond a gaussian denoiser:Residuallearning of deep CNN for image denoising”一文中，公开了一种用于图像去噪的残差学习深度CNN网络。主要用于图像的重建和增强，对于去除信源编码过程中的噪声有显著效果。

然而，上述现有技术均未提供结合深度学习神经网络、改动小、且适用于HEVC的不同模式(包括帧内编码、低延时编码、随机访问编码)的完整的编解码方案。

发明内容

本发明的目的是通过以下技术方案实现的。

根据本发明的视频编解码方法，在环路滤波处理中还包括以下步骤：

步骤1：获取经去块效应处理之后的第一滤波图像块或经样本补偿处理之后的第二滤波图像块；

步骤2：基于所述第一滤波图像块和经训练的至少一个第一滤波神经网络获取第三滤波图像块，或者，基于所述第二滤波图像块和经训练的至少一个第二滤波神经网络获取第四滤波图像块。

根据本发明的视频编解码方法，在步骤1之前还包括：

步骤1’：基于第一训练数据集合进行训练，得到经训练的第一滤波神经网络，或者，基于第二训练数据集合进行训练，得到经训练的第二滤波神经网络，