[发明专利]一种视频编码方法、解码方法、装置及电子设备

说明书

本发明实施例提供了一种视频编码方法、解码方法、装置及电子设备，包括：按照预设决策策略，确定是否开启预设去失真滤波功能；当确定开启时，获得失真图像；生成失真图像对应的边信息分量；将失真图像的失真图像颜色分量以及边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量；对待熵编码数据进行熵编码，得到编码后的视频比特流，待熵编码数据为对当前原始帧图像进行视频编码生成的，且包括表示是否开启预设去失真滤波功能的决策信息，以及用于生成边信息分量的边信息。采用本方案，实现了在视频编码过程中，使用卷积神经网络模型对失真图像进行去失真处理；实现了在编码性能和算法复杂度之间的折中。

技术领域

本发明涉及视频编解码技术领域以及图像处理技术领域，特别是涉及一种视频编码方法，以及一种视频解码方法，及相关装置和电子设备。

背景技术

在视频编码系统中，原始视频数据被进行多种处理，如：预测、变换、量化、重建、滤波等，在这种处理过程中，已处理的视频数据相对原始视频数据可能已经发生像素偏移，导致视觉障碍或假象；此外，在大多数视频编码系统采用的基于块的混合编码框架下，由于相邻的编码块采用不同的编码参数(如不同的变换量化过程、不同的预测方式、不同参考图像等)，各块引入的误差大小及其分布特性相互独立，相邻块边界会产生不连续性，产生块效应。这些失真不但影响重建图像的主客观质量，若重建图像作为后续编码像素的参考图像，还会影响后续编码像素的预测准确性，影响最终视频比特流的大小。

因此，视频编解码系统中，往往会在重建模块之后加入去失真滤波模块，如图1所示。

然而，传统的去失真滤波器通常是人为地去归纳失真图像的特征，人为地设计滤波器结构，以实验和经验为基础配置滤波器系数，例如视频编码标准 H.264标准、H.265标准中采用的去块滤波器(DF，Deblocking Filter)等；也有一类去失真滤波器，它们基于局部图像区域的一些统计信息，自适应地配置滤波器结构、滤波器系数等，如H.265标准里使用的样点自适应补偿技术(SAO， Sample Adaptive Offset)、视频编解码里使用的自适应环路滤波技术(ALF， Adaptive loop Filter)等，这类自适应滤波器复杂度较高，且编码端需要将依赖于局部统计信息的滤波器相关参数写入码流中以保证编解码端的一致性，这无疑增加了编码比特数。

近年来，深度学习理论迅速发展，与传统依赖先验知识的特征提取算法不同，深度神经网络可在训练数据驱动下自适应地构建特征描述，具有更高的灵活性和普适性。

深度学习在许多高层次的计算机视觉问题上已经取得很大的成功，如图像分类、目标检测和目标分割等。2015年业界已经提出了基于卷积神经网络的端到端的图像超分辨率重建算法(SRCNN，Super Resolution Convolutional Neural Network)，该网络相对于当时超分辨率重建领域的最领先技术展现了明显的优势，深度学习开始在低层次计算机视觉问题上显示出巨大的潜力；又如，受卷积神经网络在超分辨率恢复中的应用启发，业界内提出使用训练得到的多层卷积神经网络ARCNN(Artifacts Reduction ConvolutionalNeural Network)对JPEG 编码后图像进行后处理滤波以去除图像失真，相对传统的滤波方法获得了明显的主、客观质量提升。

目前，业界内还提出使用训练得到的卷积神经网络VRCNN (Variable-Filter-size Residue-learning Convolutional Neural Network)替代传统的去块滤波技术和自适应样点补偿技术，对帧内编码后的图像进行后处理滤波，实验结果表明相对于上述传统的环内滤波方法，卷积神经网络使得重建图像主、客观质量获得了大幅提升。

基于卷积神经网络的端到端的图像去失真算法，避免了图像预处理、人工设计滤波器系数等过程，通过数据驱动自动学习图像失真特征及补偿方法，使用更简便、泛化性更佳、性能提升更明显，特别适用于糅合了多种失真的图像 /视频压缩领域。