[发明专利]一种参考帧的选取方法

说明书

一种参考帧的选取方法，包括以下步骤：步骤1：通过比较重建帧的已解概率和其与当前编码真之间畸变大小的合函数来确定目标优化率失真函数；步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧。本发明能够降低所选参考帧丢失可能导致的失真，同时兼顾编码效率，从而提升用户体验。

技术领域

本发明属于视频编解码以及视频流传输领域，具体是一种参考帧的选取方法。

背景技术

视频通信是现代通信常用的通信方式，它出现在我们生活的各个方面，如网络直播，视频新闻，视频会议等。视频信息的特点就是直观且信息量大，对于像直播或是像视频会议这样的实时视频系统来说，如何保证视频流实时且高效地传输极为重要。为了保证实时播放中的低延迟性，该类视频中的帧类型通常只有两种I和P，不使用B帧。现有的被广泛应用的编解码技术如H264或者HEVC，在进行帧间预测编码来恢复重建图像时，通常选取的是前一帧作为参考帧来编码当前帧。

由上图可知，目前使用的压缩标准在采用帧间编码预测时，一到两帧已重建图像作为参考帧用于与运动估计来编码当前帧。尤其在实时会议系统中我们通常选择参考上一帧，该方法的优点是搜索时间短、算法复杂度低、延时较低，但这种参考帧选取方法的缺点是在当前帧发生巨大的场景变换或是当前帧预参考的上一帧在传输中发生丢包，无法正确解码的情况下，会选择重编I帧，开启新的GOP进行恢复。因为重编I帧所需的比特数要远远大于其他帧类型，从而导致码率突增，影响编码效率，这时我们需要使用长参考帧作为丢帧恢复的解决方案。

长参考帧的定义是将已经被接收端收到且已解的关键帧记录到参考帧列表中，当编码端收到丢包反馈或是检测到场景切换时，触发长参考帧的使用。这样一方面可以防止错误大范围地蔓延导致解码端不可解的状况的发生，另一方面可以防止重编I帧带了的巨大比特消耗。参考帧的选取实际上是一个消耗与效率的妥协，消耗包括存储消耗和搜索消耗，而效率则是使用多参考帧带来的压缩效率的提升。就国内普遍使用的H264压缩算法来说，国际标准化协会规定了在做帧间预测时，参考帧列表的最大长度不超过15帧。我们可以充分地在编码端缓存15帧作为参考帧，根据比较所有参考帧与当前编码帧之间畸变值的大小选择最优的参考帧，但这样做的成本就是系统所需的存储空间增大，搜索查找最优帧的运算工作量增大，延时增加，影响码流在实时传输系统中的时效性。因此，本专利提出了一种于多参考帧中优选出最适合的参考帧的方法。

同时，参考帧的选取可以结合传输错误控制机制，充分利用传输机制中的反馈信息来进行优化，提高用户体验。在丢包发生后，在标准传输协议中一般采用自动重传请求(ARQ)和前向错误纠正(FEC)两种方法进行错误控制[2]。视频接收端检测出丢包时，ARQ机制会向发送端发送重传请求(NACK),请求发送端重传丢失的数据包。自动重传请求恢复是简便且安全的帧恢复方法，当然重传也会增加视频延时，影响用户体验。当数据传输线路特别差时，自动重传恢复甚至可能会发生死锁现象。另一种方法是FEC，FEC通过增加冗余数据提供对抗包丢失的有效途径，因为无需重传或反通道，所以该方法常用于实时或多播应用，但是如果突发丢包长度超过FEC的纠错能力时，FEC的性能可能很差。此外，冗余包通常要占用较多的存储空间，在传输时需要更大的带宽。ARQ和FEC可以降低网络丢包对视频质量造成的负面影响，但由于延时和带宽等的限制，在实际应用中还是需要考虑如何进一步降低丢包对视频体验的负面影响。如何将参考帧的选取和网络丢包信息结合起来，预测出最优参考帧是急需解决的关键问题。

发明内容

为了克服现有技术的不足，本发明提出一种参考帧的选取方法，通过丢包率对当前编码帧之前的若干帧已被解码端收到且已经被解码的概率的预测以及当前编码帧与之前的某帧之间的畸变或残差的预测，借助概率和畸变估计选择率失真综合最优的参考帧，降低所选参考帧丢失可能导致的失真，同时兼顾编码效率，从而提升用户体验。