[发明专利]一种立体视频帧重要性评估方法

摘要

本发明公开了一种立体视频帧重要性评估方法，其在计算每帧右视点图像的错误隐藏失真的过程中，加入了该帧右视点图像中编码模式为帧间编码且采用视差矢量编码的宏块视差矢量；在计算每帧左视点图像的错误扩散失真的过程中，利用当前帧对后续视点内和视点间编码帧的扩散失真影响累加得到，且在计算时加入了错误扩散因子；在计算每帧立体图像的总失真时，利用该帧立体图像的左视点图像的错误扩散失真和右视点图像的错误扩散失真之和与该帧立体图像的左视点图像的错误隐藏失真和右视点图像的错误隐藏失真之和加权得到，得到的总失真的精度较高，因此本发明方法能够有效地区分不同帧的重要等级，从而能够提高终端视频的感知质量。

主权项

一种立体视频帧重要性评估方法，其特征在于包括以下步骤：①在立体视频编码过程中以图像组为单位进行编码，将立体视频中当前待处理的图像组定义为当前图像组；②计算当前图像组中的每帧右视点图像中编码模式为帧间编码的每个宏块的运动矢量和视差矢量，将当前图像组中的第k帧右视点图像中编码模式为帧间编码的第u个宏块的运动矢量和视差矢量对应记为MV_k,u和DV_k,u，${\mathrm{MV}}_{k,u}=\underset{v=1}{\overset{N_{\mathrm{mvpart}}}{\mathrm{\Σ}}}\frac{L_{v,x}\×L_{v,y}}{16\×16}\×\sqrt{{\left({\mathrm{MV}}_{v,x}\right)}^2+{\left({\mathrm{MV}}_{v,y}\right)}^2},{\mathrm{DV}}_{k,u}=\underset{v^{\′}=1}{\overset{N_{\mathrm{dvpart}}}{\mathrm{\Σ}}}\frac{L_{v^{\′},x}\×L_{v^{\′},y}}{16\×16}\×\sqrt{{{\mathrm{DV}}_{v^{\′},x}}^2+{{\mathrm{DV}}_{v^{\′},y}}^2},$其中，k的初始值为1，1≤k≤K_GOP，K_GOP表示当前图像组中包含的立体图像的总帧数，u的初始值为1，1≤u≤U_MB，U_MB表示当前图像组中的第k帧右视点图像中编码模式为帧间编码的宏块的数目，N_mvpart表示当前图像组中的第k帧右视点图像中编码模式为帧间编码的第u个宏块采用运动矢量编码时包含的子块的数目，1≤v≤N_mvpart，N_dvpart表示当前图像组中的第k帧右视点图像中编码模式为帧间编码的第u个宏块采用视差矢量编码时包含的子块的数目，1≤v'≤N_dvpart，L_v,x和L_v,y对应表示当前图像组中的第k帧右视点图像中编码模式为帧间编码的第u个宏块采用运动矢量编码时第v个子块的宽和高，MV_v,x和MV_v,y对应表示当前图像组中的第k帧右视点图像中编码模式为帧间编码的第u个宏块采用运动矢量编码时第v个子块采用视点内预测编码的运动矢量的X方向分量和Y方向分量，L_v',x和L_v',y对应表示当前图像组中的第k帧右视点图像中编码模式为帧间编码的第u个宏块采用视差矢量编码时第v'个子块的宽和高，DV_v',x和DV_v',y对应表示当前图像组中的第k帧右视点图像中编码模式为帧间编码的第u个宏块采用视差矢量编码时第v'个子块采用视点间预测编码的视差矢量的X方向分量和Y方向分量，子块的大小为16×16或16×8或8×16或8×8；并计算当前图像组中的每帧左视点图像中编码模式为帧间编码的每个宏块的运动矢量，将当前图像组中的第k帧左视点图像中编码模式为帧间编码的第u'个宏块的运动矢量记为MV'_k,u'，${{\mathrm{MV}}^{\′}}_{k,u^{\′}}=\underset{h=1}{\overset{N_{\mathrm{part}}}{\mathrm{\Σ}}}(\frac{{L^{\′}}_{h,x}\×{L^{\′}}_{h,y}}{16\×16}\×\sqrt{{\left({{\mathrm{MV}}^{\′}}_{h,x}\right)}^2+{\left({{\mathrm{MV}}^{\′}}_{h,y}\right)}^2}),$其中，u'的初始值为1，1≤u'≤U'_MB，U'_MB表示当前图像组中的第k帧左视点图像中编码模式为帧间编码的宏块的数目，N_part表示当前图像组中的第k帧左视点图像中采用帧间编码的第u'个宏块中包含的子块的数目，1≤h≤N_part，L'_h,x和L'_h,y对应表示当前图像组中的第k帧左视点图像中编码模式为帧间编码的第u'个宏块采用运动矢量编码时第h个子块的宽和高，MV'_h,x和MV'_h,y对应表示当前图像组中的第k帧左视点图像中编码模式为帧间编码的第u'个宏块采用运动矢量编码时第h个子块采用视点内预测编码的运动矢量的X方向分量和Y方向分量；③计算当前图像组中的每帧右视点图像的错误隐藏失真，将当前图像组中的第k帧右视点图像的错误隐藏失真记为$\begin{array}{c}{I}_{\mathrm{EC},k}^R=\underset{i=1}{\overset{N_{\mathrm{mvinter}}}{\mathrm{\Σ}}}p\×{\mathrm{MV}}_{k,i}+\underset{i^{\′}=1}{\overset{N_{\mathrm{dvinter}}}{\mathrm{\Σ}}}p\×{\mathrm{DV}}_{{k,i}^{\′}}+\underset{w=1}{\overset{N_{\mathrm{intra}\_16\×16}}{\mathrm{\Σ}}}(p\×W_{\mathrm{intra}\_16\×16}\left(w\right)\×\sqrt{{16}^2+{16}^2})\\ +\underset{w^{\′}=1}{\overset{N_{\mathrm{intra}\_4\×4}}{\mathrm{\Σ}}}(p\×W_{\mathrm{intra}\_4\×4}\left(w^{\′}\right)\×\sqrt{{16}^2+{16}^2})\end{array},$其中，N_mvinter表示当前图像组中的第k帧右视点图像中编码模式为帧间编码且采用运动矢量编码的宏块的数目，1≤i≤N_mvinter，N_dvinter表示当前图像组中的第k帧右视点图像中编码模式为帧间编码且采用视差矢量编码的宏块的数目，1≤i'≤N_dvinter，MV_k,i表示当前图像组中的第k帧右视点图像中编码模式为帧间编码且采用运动矢量编码的第i个宏块的运动矢量，DV_k,i'表示当前图像组中的第k帧右视点图像中编码模式为帧间编码且采用视差矢量编码的第i'个宏块的视差矢量，N_{intra_16×16}表示当前图像组中的第k帧右视点图像中编码模式为帧内16×16的宏块的数目，1≤w≤N_{intra_16×16}，N_{intra_4×4}表示当前图像组中的第k帧右视点图像中编码模式为帧内4×4的宏块的数目，1≤w'≤N_{intra_4×4}，W_{intra_16×16}(w)表示当前图像组中的第k帧右视点图像中编码模式为帧内16×16的第w个宏块的系数，W_{intra_4×4}(w')表示当前图像组中的第k帧右视点图像中编码模式为帧内4×4的第w'个宏块的系数，p表示错误隐藏失真系数；并计算当前图像组中的每帧左视点图像的错误隐藏失真，将当前图像组中的第k帧左视点图像的错误隐藏失真记为$\begin{array}{c}{I}_{\mathrm{EC},k}^L=\underset{g=1}{\overset{N_{\mathrm{inter}}}{\mathrm{\Σ}}}p\×{{\mathrm{MV}}^{\′}}_{k,g}+\underset{j=1}{\overset{{N^{\′}}_{\mathrm{intra}\_16\×16}}{\mathrm{\Σ}}}p\×W_{\mathrm{intra}\_16\×16}\left(j\right)\×\sqrt{{16}^2+{16}^2}\\ +\underset{j^{\′}=1}{\overset{{N^{\′}}_{\mathrm{intra}\_4\×4}}{\mathrm{\Σ}}}p\×W_{\mathrm{intra}\_4\×4}\left(j^{\′}\right)\×\sqrt{{16}^2+{16}^2}\end{array},$其中，N_inter表示当前图像组中的第k帧左视点图像中编码模式为帧间编码且采用运动矢量编码的宏块的数目，1≤g≤N_inter，MV'_k,g表示当前图像组中的第k帧左视点图像中编码模式为帧间编码且采用运动矢量编码的第g个宏块的运动矢量，N'_{intra_16×16}表示当前图像组中的第k帧左视点图像中编码模式为帧内16×16的宏块的数目，1≤j≤N'_{intra_16×16}，N'_{intra_4×4}表示当前图像组中的第k帧左视点图像中编码模式为帧内4×4的宏块的数目，1≤j'≤N'_{intra_4×4}，W_{intra_16×16}(j)表示当前图像组中的第k帧左视点图像中编码模式为帧内16×16的第j个宏块的系数，W_{intra_4×4}(j')表示当前图像组中的第k帧左视点图像中编码模式为帧内4×4的第j'个宏块的系数；④计算当前图像组中的每帧右视点图像的错误扩散失真，将当前图像组中的第k帧右视点图像的错误扩散失真记为其中，表示当前图像组中的第k帧右视点图像对其后续的第s帧右视点图像的错误扩散影响，亦表示当前图像组中的第k帧右视点图像对当前图像组中的第k+s帧右视点图像的错误扩散影响，当s＝1时取$I_{\mathrm{EP},k+1}^R=I_{\mathrm{EC},k}^R\×\mathrm{\α}\×R_{k+1},$当s≠1时$I_{\mathrm{EP},k+s}^R=I_{\mathrm{EC},k+s-1}^R\×\mathrm{\α}\×R_{k+s},$表示当前图像组中的第k帧右视点图像对其后续的第s‑1帧右视点图像的错误扩散影响，亦表示当前图像组中的第k帧右视点图像对当前图像组中的第k+s‑1帧右视点图像的错误扩散影响，α表示错误扩散因子，R_k+1表示当前图像组中的第k帧右视点图像后续的第1帧右视点图像中编码模式为帧间编码的宏块的比例，亦表示当前图像组中的第k+1帧右视点图像中编码模式为帧间编码的宏块的比例，R_k+s表示当前图像组中的第k帧右视点图像后续的第s帧右视点图像中编码模式为帧间编码的宏块的比例，亦表示当前图像组中的第k+s帧右视点图像中编码模式为帧间编码的宏块的比例；并计算当前图像组中的每帧左视点图像的错误扩散失真，将当前图像组中的第k帧左视点图像的错误扩散失真记为其中，表示当前图像组中的第k帧左视点图像对其后续的第s帧左视点图像的错误扩散影响，亦表示当前图像组中的第k帧左视点图像对当前图像组中的第k+s帧左视点图像的错误扩散影响，当s＝1时取$I_{\mathrm{EP},k+1}^L=I_{\mathrm{EC},k}^L\×\mathrm{\α}\×R_{k+1}^{\′},$当s≠1时$I_{\mathrm{EP},k+s}^L=I_{\mathrm{EC},k+s-1}^L\×\mathrm{\α}\×{R^{\′}}_{k+s},$表示当前图像组中的第k帧左视点图像对其后续的第s‑1帧左视点图像的错误扩散影响，亦表示当前图像组中的第k帧左视点图像对当前图像组中的第k+s‑1帧左视点图像的错误扩散影响，R'_k+1表示当前图像组中的第k帧左视点图像后续的第1帧左视点图像中编码模式为帧间编码的宏块的比例，亦表示当前图像组中的第k+1帧左视点图像中编码模式为帧间编码的宏块的比例，R'_k+s表示当前图像组中的第k帧左视点图像后续的第s帧左视点图像中编码模式为帧间编码的宏块的比例，亦表示当前图像组中的第k+s帧左视点图像中编码模式为帧间编码的宏块的比例，表示当前图像组中的第k帧左视点图像对当前图像组中的第k+s帧右视点图像的错误扩散影响，当s＝0时取当s≠0时表示当前图像组中的第k帧左视点图像对当前图像组中的第k+s‑1帧右视点图像的错误扩散影响，R表示当前图像组中的所有右视点图像采用视差矢量编码的平均比例；⑤计算当前图像组中的每帧立体图像的总失真，将当前图像组中的第k帧立体图像的总失真记为FIDP_k，${\mathrm{FIDP}}_k=\mathrm{\β}\×(I_{\mathrm{EC},k}^R+I_{\mathrm{EC},k}^L)+(1-\mathrm{\β})\×(I_{\mathrm{EP},k}^R+I_{\mathrm{EP},k}^L),$其中，β表示加权系数；⑥计算当前图像组中的每帧立体图像的重要性权重，将当前图像组中的第k帧立体图像的重要性权重记为ω_k，当k＝1时取ω_k＝1；当k≠1时采用归一化方法对FIDP_k进行归一化处理，得到的值赋值给ω_k；⑦将立体视频中下一个待处理的图像组作为当前图像组，然后返回步骤②继续执行，直至立体视频中的每个图像组处理完毕，得到立体视频中的每帧立体图像的重要性权重，完成立体视频中的每帧立体图像的重要性评估。