[发明专利]用于分层视频的编码方法和装置以及解码方法和装置

说明书

本公开提供了一种分层视频编码方法和装置以及分层视频解码方法和装置，其中，所述分层视频编码方法包括：获取待编码视频的当前基本层视频帧、先前重建的基本层视频帧和先前重建的增强层视频帧；使用卷积神经网络基于当前基本层视频帧、先前重建的基本层视频帧和先前重建的增强层视频帧来生成质量增强的内层视频帧；使用质量增强的内层视频帧作为层间参考视频帧来执行针对当前增强层视频帧的运动预测。

技术领域

本公开涉及视频编解码技术领域，尤其涉及一种用于分层视频的编码方法和装置、解码方法和装置、电子设备及计算机可读存储介质。

背景技术

高效视频编码标准（HEVC/H.265）是一种在传输视频过程中降低视频冗余数据的有效手段，可大大节省网络带宽，减少传输压力，适应更为广泛的传输条件。可分级视频编码（SHVC），作为HEVC的扩展技术，是为了适应IP网络的异构、波动和拥塞而采用的一种高效、强鲁棒性的视频编码技术。该技术将一个基本层和若干增强层看成一个多层视频系统，对单一视频序列产生若干层高低有序的压缩码流。SHVC可通过利用单层高效视频编码的编解码器，并添加内层层间参考图像处理模块构建实现，其中，内层参考为增强层的编码效率提升提供了基础。

在采用低码率编码视频帧时，编解码后的图像与原始视频帧相比具有视频压缩编码损伤，主观上表征为较明显的图像失真。作为深度学习网络中的一种，残差卷积神经网络由于具有卷积层和残差连接等结构，能够很好地提取图像压缩过程中丢失的高频信息，可在保留图像细节的前提下完成视频帧的编码损伤修复，进而实现增强层编码效率的提升。

相关技术的SHVC大致可以分为两类：1）提升编码预测准确度；2）提升编码参考帧质量。但是现有技术还没有将深度学习应用于质量可分级视频编码效率提升上，目前还停留在手工统计数据规律后人为设计算法来提升内层参考视频帧质量，提升效果有限且低效。由于深度神经网络强大的特征提取与重建能力，可以利用深度神经网络来提升质量可分级的内层视频帧质量，进而提升视频帧编解码效率。

发明内容

本公开提供一种分层视频编码方法，其特征在于，包括：获取待编码视频的当前基本层视频帧、先前重建的基本层视频帧和先前重建的增强层视频帧；使用卷积神经网络基于当前基本层视频帧、先前重建的基本层视频帧和先前重建的增强层视频帧来生成质量增强的内层视频帧；使用质量增强的内层视频帧作为层间参考视频帧来执行针对当前增强层视频帧的运动预测。

根据本公开的第一方面，所述卷积神经网络被训练为基于先前重建的基本层视频帧与当前基本层视频帧之间的时域相关性以及先前重建的基本层视频帧与先前重建的增强层视频帧之间的质量相关性从当前基本层视频帧生成质量增强的内层视频帧。

根据本公开的第一方面，所述卷积神经网络被配置为通过执行以下操作来生成质量增强的内层视频帧：根据先前重建的基本层视频帧和当前基本层视频帧之间的运动差异与先前重建的增强层视频帧和当前增强层视频帧之间的运动差异的相似性从先前重建的增强层视频帧生成具有运动修复信息的内层视频帧特征；根据先前重建的基本层视频帧和先前重建的增强层视频帧之间的压缩损伤特征与当前增强层视频帧和当前基本层视频帧之间的压缩损伤特征的相似性从当前基本层视频帧生成具有压缩损伤修复信息的内层视频帧特征；对具有运动修复信息的内层视频帧特征和具有压缩损伤修复信息的内层视频帧特征进行高频特征修复以生成融合后的内层视频帧特征；使用融合后的内层视频帧特征对当前基本层视频帧执行修复以生成质量增强的内层视频帧。

根据本公开的第一方面，所述生成具有运动修复信息的内层视频帧特征包括：使用多尺度特征提取算子从先前重建的增强层视频帧和先前重建的基本层视频帧提取出具有运动修复信息的特征；分别提取当前基本层视频帧、先前重建的基本层视频帧和先前重建的增强层视频帧的运动特征，其中，当前基本层视频帧、先前重建的基本层视频帧和先前重建的增强层视频帧的运动特征均具有多个层；使用具有运动修复信息的特征对当前基本层视频帧、先前重建的基本层视频帧和先前重建的增强层视频帧的运动特征进行运动修复以获得运动修复特征；通过对运动修复特征的每个层进行级联和卷积来生成具有运动修复信息的内层视频帧特征。