[发明专利]一种联合优化码率分配和率失真性能的视频编码方法

权利要求书

1.一种联合优化码率分配和率失真性能的视频编码方法，其特征在于，包括以下步骤：

S1，在视频编码过程中，基于SSIM计算一个图像帧中每个LCU的失真程度；

SSIM对比了原始图像和失真图像在亮度、对比度和结构三个方面的相似程度，使用x指代原始图像，使用y指代失真图像，SSIM的计算公式为：

其中，i指代一个图像帧中的第i个像素，C₁和C₂是防止除以0的常数，μ、σ²和σ_xy分别是均值、方差和协方差，三者通过以下公式计算：

其中，L＝121，ω_l(l＝1,2,…L)代表11×11的高斯滤波器；

SSIM是一个取值范围从0到1的图像质量评价指标，数值越大质量越高，因此，一个LCU基于SSIM的失真指标通过下式计算：

式中，M为此LCU的像素数量，i∈unit指示位于此LCU中的所有像素；

S2、基于公式推导构建结构相似度失真和均方误差失真之间的关系模型；

具体的，首先假设原始图像和失真图像的从而可以将SSIM的计算简化如下：

将公式(2)代入到公式(4)中，可得如下SSIM的计算公式：

式中使用指示像素之间的平方误差，W_i指示与每个像素周围图像内容相关的权重，即：

将公式(5)代入公式(3)，一个LCU基于结构相似度的失真可以计算为：

式中W_i中的方差是按照公式(2)在图像一个局部区域内通过高斯加权计算得出，又进一步在公式(6)中被高斯模糊滤波，因此W_i在一个小区域内的值是相近的，因此，可以使用一个子块的W_i的均值作为子块所有像素权重的估计，即公式(7)可以进一步简化为：

式中，blk_t指代一个LCU中的第t个子块,本实施例中所采用的子块尺寸为4×4；

一个图像块的均方误差失真与量化步长成线性关系，该关系可表述为：

式中，ρ_t为线性参数，Q_t是子块blk_t所采用的量化步长；

根据公式(9)，一个LCU的均方误差失真可以计算为：

另一方面，将公式(9)代入到公式(8)中，此LCU的结构相似度失真可计算为：

由于一个LCU中各个子块的量化步长一般是一致的，因此依据公式(10)和公式(11)可得到如下D_SSIM-D_MSE关系：

式中使用Θ指代至此，推导得出D_SSIM与D_MSE的理论关系模型；

S3，基于D_SSIM-D_MSE线性关系模型，构建基于结构相似度失真的R-D模型，求解基于结构相似度失真的最优化码率分配；

使用幂函数模型为每个CTU构建基于结构相似度失真的R-D模型，该模型可被表述为：

D_SSIM＝α·R^β (13)

式中，α和β为待计算的模型参数；

由于拉格朗日乘子λ等于失真相对于码率的负导数，依据公式(8)可以得到如下基于结构相似度的R-λ关系：

λ_SSIM＝-αβ·R^β-1 (14)

对公式D_SSIM＝θ·Θ·D_MSE+η使用导数链式法则，θ和η为通过最小二乘法随编码过程在时域相邻LCU之间更新的线性模型参数，则可得到如下基于结构相似度的拉格朗日乘子λ_SSIM和基于均方误差的拉格朗日乘子λ_MSE的关系：

λ_SSIM＝θ·Θ·λ_MSE. (15)

根据公式(13)、(14)、(15)可得到如下基于结构相似度失真的R-D-λ联合关系：

在此联合关系中，在一个LCU编码结束后，R和D_SSIM为已知的编码结果，λ_MSE为已知的编码过程实际使用的拉格朗日乘子，因此仅有α和β两个未知数，故可通过如下公式计算得到其唯一解：

计算得到的基于结构相似度的R-D模型参数将作为下一编码帧相同位置LCU的模型参数的估计，同时使用拉格朗日乘子法求解最优化码率分配问题，一帧中所有LCU的模型参数α和β已知时，根据公式(14)可反推出如下R-λ_SSIM关系：

基于公式(18)可计算出所有LCU在给定λ_SSIM时所对应的比特，根据拉格朗日乘子法，比特分配问题的最优解要求一帧中所有图像块具有相同的λ_SSIM，利用公式(18)，通过二分法搜索满足比特约束时所对应的最优λ_SSIM；

S4、基于D_SSIM-D_MSE线性关系模型，进行基于结构相似度失真的率失真优化；

将公式D_SSIM＝θ·Θ·D_MSE+η代入到公式D_k(mode)+λ·R_k(mode)中，D_k(mode)与R_k(mode)分别为编码模式mode所产生的实际失真与比特数，λ为权衡因子，基于结构相似度的率失真代价的最小化问题可进一步等价于：

式中m指代编码模式；

根据公式(19)，在基于结构相似度失真的率失真优化中，无需为大量候选编码模式计算具有高复杂度的结构相似度失真，只需按照传统编码方法，为候选编码模式计算具有低复杂度的基于均方误差失真的率失真代价；同时，在该率失真代价中使用一个与结构相似度失真相关的新的拉格朗日乘子，这一新的拉格朗日乘子为：

式中，λ_SSIM为基于结构相似度的拉格朗日乘子，该乘子即为基于结构相似度失真的码率分配问题求解所得到的最优拉格朗日乘子。