[发明专利]一种联合优化码率分配和率失真性能的视频编码方法

说明书

本发明公开了一种联合优化码率分配和率失真性能的视频编码方法，本发明依据结构相似度的计算公式，对图像块的结构相似度失真进行从像素到图像子块再到图像块进行逐步简化计算，理论推导得出结构相似度失真和均方误差失真的理论关系模型。一方面，通过该理论关系模型，可构建基于结构相似度失真的R‑D‑λ联合关系，求解得到基于结构相似度失真的R‑D模型参数，从而实现对码率分配问题的求解。另一方面，该理论关系模型使得高复杂度的基于结构相似度失真的率失真优化可以通过低复杂度的基于均方误差失真的率失真优化进行。且率失真优化所采用的码率与失真的权衡因子由码率分配的求解所确定，实现了码率分配和率失真性能的联合优化。

技术领域

本发明属于视频编码优化技术领域，具体涉及一种联合优化码率分配和率失真性能的视频编码方法。

背景技术

当前视频直播、视频点播和视频聊天等众多视频应用在人们日常生活中日益普及。面对视频传输和存储所带来的高昂成本，如何在有限的编码码率下获得更高的视频质量是视频编码领域的重要研究问题。

这一问题的解决主要依靠两个重要技术。第一个是研究如何将有限的编码比特数分配给各个编码单元使得编码后的失真最小，即码率分配问题。具体的，以编码一个视频帧为例，给定编码总比特数为R_c，分配给该视频帧中第k个编码单元的比特为R_k，对应产生的失真为D_k。一般设D_k是以R_k为自变量的连续可导凸函数，即D_k＝D_k(R_k)。则码率分配问题可以表述为如下有约束的最优化问题：

第二个技术是在对一个具体编码单元的编码过程中，权衡编码码率和编码失真的关系，从大量候选编码模式选择出具有率失真表现最优的编码模式，即率失真优化。该问题的解决需首先确定率失真代价函数。以第k个编码单元为例，其率失真代价函数可表述为：

D_k(mode)+λ·R_k(mode) (22)

式中D_k(mode)与R_k(mode)分别为编码模式mode所产生的实际失真与比特数，通过实际编码过程产生。因此，率失真优化问题的核心在于确定两者的权衡因子λ。

在上述两个问题的求解中，传统方法使用原始视频帧和编码后的重建视频帧像素之间的均方误差失真(Mean Squared Error，MSE)作为D_k的度量。这一方案的优点是码率分配问题和率失真优化问题在拉格朗日优化方法下是严格统一的。具体的，公式(1)等价于求解如下无约束最优化问题：

对比公式(2)与公式(3)可以发现，比特分配问题取得最优解时，每个编码单元的率失真性能亦取得最优。因此，基于均方误差失真的比特分配问题与率失真优化问题都归一到优化问题(3)的求解。

然而，均方误差失真与人类对失真的主观感知并不一致。即均方误差失真最小时人类的主观感知失真并非最小。为解决这一问题，很多考虑到了人类视觉特性的失真指标被采纳到视频编码的优化中。这其中最典型的是Z.Wang等人提出的结构相似度(Structural SIMilarity,SSIM)指标(Z.Wang,A.C.Bovik,H.R.Sheikh,E.P.Simoncelliet al.,“Image quality assessment:from error visibility to structuralsimilarity,”IEEE transactions on Image Processing,vol.13,no.4,pp.600–612,2004.)。该指标计算了原始图像与失真图像的局部亮度、对比度、结构差异，从而获得与人类感知更一致的质量评价表现。因此，结构相似度被广泛用于视频编码的失真度量。