[发明专利]一种基于显著性的视频编解码方法

说明书

本发明提供了一种基于显著性的视频编解码方法，其中编码方法包括：判断当前视频图像是否为图像组内的第一帧；若是，则使用帧内编码方法将当前视频图像编码为码流BS；若否，则从解码图像缓存中获取参考图像，使用帧间编码方法将当前视频图像编码为运动矢量码流BSsubgt;mv/subgt;和预测残差码流BSsubgt;r/subgt;。本发明的有益之处在于，在相同码率下，采用本发明的方法编码的视频在显著区域质量更佳，从而重建视频拥有更好的主观质量，或者在相同主观质量下，视频码率更低，节约资源。

技术领域

本发明涉及视频编解码技术领域，具体涉及一种基于显著性的视频编解码方法。

背景技术

近几年，随着直播和短视频业务的发展，视频流在网络传输带宽中占据了很大部分。传统视频编码技术，从H264到H266，编码效率得到了很大的提升，传统视频编码方案依赖于手工设计的各个模块，包括帧内/间预测、环路滤波、DCT变换等。除此之外，研究者将目光转向了深度学习领域，尝试利用深度神经网络强大的非线性表达能力对视频编码进行端到端的优化。

一种常见的基于神经网络的视频编码框架采用了和传统视频编码方案类似的混合编码结构，将各种所需模块用对应的神经网络模型替代，如图1所示。基于神经网络的视频编码模型实现了对视频编码的端到端的优化，其只能编码帧间预测的图像，并不能编码帧内预测的关键帧，因此，视频编码模型通常会搭配图像编码器使用。一种常见的基于神经网络的图像编码模型采用自编码器结构，如图2所示。该视频编码模型可以利用不同的损失函数对相应的客观指标进行针对性的优化，例如利用均方差(Mean Square Error,MSE)损失函数对重建视频的峰值信噪比(Peak Signal to Noise Ratio,PSNR)进行优化，或者利用结构相似性相关损失函数对重建视频的结构相似性(Structural Similarity)进行优化。然而更高的客观质量并不一定意味着更高的主观质量，考虑到绝大部分视频的接收终端都是人类视觉系统，因此从人眼视觉特性出发对视频主观质量进行感知优化可以提升编码效率。

注意力机制是人类视觉系统资源分配的认知过程，具体地讲，在观察环境时，人们只关注了环境中的某一部分而忽略其他部分。在计算机视觉中，有一个任务是预测或者估计图像或视频中容易引起人们关注的部分，称为显著性预测(Saliency Prediction)，其所得到的结果是每一个像素对应的显著性权重，权重越大，代表该像素越容易受到人们的关注，通常该权重的范围是0到1，由该权重组成的集合称为显著性图(Saliency Map)。从注意力机制这一人眼视觉特性来对视频编码进行感知优化是一个较为有效的优化方向，该方法的核心思想是调整帧内的比特分配，增加编码显著区域的比特数而减少编码非显著性区域的比特数。