[发明专利]一种高效视频编码率失真优化量化方法

权利要求书

1.一种高效视频编码率失真优化量化方法，其特征在于：该方法将待处理的TB分割为子块，将扫描顺序上连续的多个系数称为路径，将子块内部的路径部分称为子路径，将该率失真优化量化方法转换为TB内部的最佳路径搜索以及各子块内部的最佳路径搜索,最佳路径搜索均以找到度量最低的合法路径为目标，路径的度量为其拉格朗日代价；

于TB内部的最佳路径搜索中，将各个子路径的全0/非全0状态视为状态空间，并使用M算法进行搜索以获取最低代价的路径；

于TB内部的最佳路径搜索中，限制路径为一条非全0路径以及一条全0路径；

该TB内部的最佳路径搜索的搜索过程为：

S1、将非全0路径P₀初始化代价Γ₀为Γ_inf，Γ_inf为正无穷大，全0路径P′₀初始化代价Γ′₀为0，子块的索引值i＝0，按HEVC标准规定的扫描顺序对子块进行索引；

S2、对当前子块B_i进行搜索，执行子块B_i内部的最佳路径搜索，得到通过B_i的最佳路径p_i及其度量ρ_i、全零路径及其度量

S3、计算将B_i编码为非0/全0块需要的率R_2,i及R′_2,i；

S4、更新路径，具体操作如下：

Γ_i+1＝ρ_i+λR_2,i

P_i+1＝p_i

对路径及子路径的“+”操作表示连接以获得延长后的路径；

S5、更新i←i+1，←表示赋值操作；

S6、重复步骤S2-S5直至i＝N_TB；

S7、比较与

S8、若那么

否则

其中P_RDOQ即为TB通过RDOQ后获得的量化结果，R₀为非全0子块的率，R₀’为全0子块的率，P_NTB为非全0子块的路径，P_NTB’为全0子块的路径。

2.如权利要求1所述的一种高效视频编码率失真优化量化方法，其特征在于，于子块内部的最佳路径搜索中，将每个子块按照HEVC标准规定的扫描顺序转化为16×1的序列，而每一个系数Y_i,j选择三个量化值，子块内所有的系数的可能状态组成了一个16×3的空间。

3.如权利要求2所述的一种高效视频编码率失真优化量化方法，其特征在于：将子块内的子路径搜索问题转换为在16×3的格点上寻找最优路径的问题。

4.如权利要求3所述的一种高效视频编码率失真优化量化方法，其特征在于：于子块内部的最佳路径搜索中，使用M算法在格点上进行搜索。

5.如权利要求4所述的一种高效视频编码率失真优化量化方法，其特征在于，子块内部的最佳路径搜索过程如下：

P1、首先初始化子路径，子路径p_i,0,0～p_i,0,1起始于两个起始状态，起始点对应子块外部的路径，分别等于P_i及P′_i，路径度量ρ_i,0,0～ρ_i,0,1使用对应Γ_i及Γ_i′进行初始化，ρ_i,0,2～ρ_i,0,M-1则初始化为ρ_inf，ρ_inf为正无穷大；

P2、每一个系数Y_i,j的量化值有3种可能，将其记为s_i,j,0～s_i,j,2，分别对应于系数Y_i,j被量化为不同的值，其中

s_i,j,0：|c_i,j|＝0

其中，G_MF为为乘数因子，是一个与量化参数相关的常数，某些量化值s_i,j,x可能小于0或者与其他量化值s_i,j,y重复且yx，此时设定b_i,j,m,x＝ρ_inf，否则令b_i,j,m,x为将路径p_i,j,m延伸至系数s_i,j,x所增加的度量值，称为分支度量，此延伸称为分支，此系数s_i,j,m称为s_i,j,m,x；

P3、每一步的搜索中，子路径的数量从M增加为3M条，其中，M为留存路径数：

ρ′_i,j+1,m,x＝ρ_i,j,m+b_i,j,m,x

p′_i,j+1,m,x＝p_i,j,m+s_i,j,m,x，

其中x∈[0,2]；

对ρ′_i,j+1,m,j进行排序，选出对应ρ最小的M条子路径保存下来，即留存子路径p_i,j+1,m在排序过程中保留一条路径它始于P′_i且在每个分支上都选择s_i,j,0，即有：

如果语法元素sign_data_hide_enable_flag置1，那么保证所有子路径被排序时，在路径以外有一条路径满足以下约束之一：

j_s≥12

其中，m_f为路径编号，j_s为子路径上首个非零系数在子块内部的编号，如果度量最小的M条除以外的子路径中没有满足所述约束的子路径，则用ρ′_i+1,m,j从小到大顺序的第一条满足上述约束的子路径取代M条路径中度量最大的、除以外的一条路径；

P4、重复步骤P2和P3，且每一步j会递增直至j＝16，

此时，若sign_data_hide_enable_flag＝0,则

p_i＝p′_i,16,0

其他情况下,

p_i＝p′_i,16,t

其中t为满足约束

j_s≥12

的最小自然数，其中，j_s为子路径p_i,j+1,t上首个非零系数在子块内部的编号，即为当前子块B_i的子路径搜索结果，对当前子块B_i进行搜索过程结束。