[发明专利]视频图像编解码方法、装置、电子设备及存储介质

说明书

本申请实施例提供了视频图像编解码方法、装置、电子设备及存储介质，利用同位光流场，对两个关键帧进行运动补偿，直接生成插值后图像，与现有技术相比能够少压缩一个光流场，在降低计算量的同时，还能够节约运动信息压缩的码率，从而提升压缩的率失真性能。并且为了得到较高的残差压缩性能，利用质量修正网络，提升插值图像的质量；在做残差压缩前，利用特征变换将原始图和修正的插值图像进行特征变换，在变换域上计算残差并压缩，能够减少残差压缩的码率。

技术领域

本申请涉及数字信号处理技术领域，特别是涉及视频图像编解码方法、装置、电子设备及存储介质。

背景技术

目前，视频流量已达到整个互联网流量的80％，并且这一数值在未来很可能会进一步提升。因此，如何对视频进行高效的编解码，在给定带宽的情况下取得更好的视觉质量变得越发的关键。

传统视频编解码算法主要依赖于人工设计不同的模块，比如基于块的运动估计和DCT(Discrete Cosine Transform，离散余弦变换)矩阵，来减少视频序列中的冗余。其中，虽然每个模块都是精心设计的，但从整体上看，却并不是端到端的优化。为了能进一步提高视频编解码的性能，对整个系统进行端到端地优化是一个值得尝试的方向。

近年来，利用基于深度神经网络的Auto Encoder(自编码器)对图像进行编解码已经取得了较大的进展。甚至已在PSNR(Peak Signal to Noise Ratio，即峰值信噪比)指标上超过了传统编解码算法的性能。一个可能的解释是，在传统的视频编解码算法中，是没有端到端的优化和非线性的变换的，而基于端到端地训练以及深度学习引入的非线性变换，带来了性能增益。

目前端到端的视频编解码技术主要有三类：一是基于预测编码的视频编解码算法：利用神经网络将对应的模块(例如运动估计模块、预测模块等)替换，构成一个整体的视频编解码网络，并进行端到端地训练。二是基于插值的视频编解码算法：将视频编解码看成是插帧的过程，先压缩关键帧，随后利用双向的信息进行插帧。三是基于3D卷积的视频编解码算法：利用端到端图像压缩算法框架，在自编码器网络中将2D卷积替换成包含时域的3D卷积。

其中，基于插值的视频编解码算法中，端到端视频编解码算法的性能目前是最好的。这主要得益于该类算法能够有效地利用双向的信息，即利用两帧关键帧从前和从后分别预测当前帧，而其他框架的方法基本都是利用单向的信息。

目前，基于插值的视频编解码算法主要包括运动压缩和残差压缩两部分。大多数算法都会使用双光流场来对两个关键帧进行warping(运动补偿)操作，生成融合的预测信号。若不使用光流网络，直接利用关键帧生成预测信号，虽然可以省去运动压缩的码率，但生成的预测信号质量不高，会导致残差压缩性能降低。

相关技术中，基于插值的视频编解码算法，如图1所示，先利用光流网络计算两个关键帧到当前待编码帧的光流场f₁和f₂，然后利用warping操作，将关键帧warping到当前帧的位置上得到运动补偿w₁和w₂。再利用压缩网络对2个光流场，2个warping的关键帧和当前被编码帧的concatenate(连接)结果进行压缩。压缩的重建为2个重建的光流场和和一个权重系数之后，利用重建的关键帧进行warping，并用权重系数对2个warping后的图像进行加权生成插值出的当前帧y_intrp。生成了插值的当前帧后，再利用一个压缩网络，对原始当前帧和插值的图像分别利用残差压缩网络的编码器进行卷积计算，得到潜在表达y和y_intrp。随后计算他们的残差r，并将残差编成码流。最终，利用解码的残差和y_intrp，生成最终的当前帧的重建图例如图2所示。

但是采用上述方法，在视频编解码过程中的码率很大。

发明内容

本申请实施例的目的在于提供一种视频图像编解码方法、装置、电子设备及存储介质，以实现降低视频编解码过程中的码率。具体技术方案如下：