[发明专利]一种基于残差分块的自适应多视点视频错误隐藏方法

权利要求书

1.一种基于残差分块的自适应多视点视频错误隐藏方法，其特征在于：该方法首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块；具体如下：

(1).多方向加权残差重建：

首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，重建公式如下：

R_T为丢失像素点上侧最相邻像素点的残差值，R_B为丢失像素点下侧最相邻像素点的残差值，R_L为丢失像素点左侧最相邻像素点的残差值，R_R为丢失像素点右侧最相邻像素点的残差值，d₁、d₂、d₃和d₄分别为R_T、R_B、R_L和R_R到丢失点的距离，R_lost为待重建的点，当邻块也是丢失块时，将对应点的残差值视为0；

(2).丢失块自适应块划分：

首先利用丢失块的空域残差信息对丢失块进行初步块划分，然后利用时域和视点域的信息对丢失块的初步划分进行修正与细化；具体是：

(2-1).初步块划分：

通过对比丢失块局部块的残差值与丢失块整体块残差值的相对大小，对丢失块进行递归划分，将64×64的丢失块划分为若干不同尺寸的子块；

当丢失块局部块的残差值大于整体丢失块时，对该局部块进行划分，否则不进行划分；

对于丢失块划分，子块的最大尺寸为64×64，此时划分深度为0；子块的最小尺寸为8×8，此时CU的划分深度为3；

设子块CU的尺寸为L×L，其中L＝(64＞＞depth)，depth∈{1,2,3,4}，即CTU划分的最小单元为8×8的CU块，深度depth每增加1层，L缩小1倍；具体递归划分算法流程如下：

Step1.计算当前块B_cur的残差均值resi_cur，记当前块的尺寸为L×L，划分深度为depth_cur；

Step2.如果当前块B_cur深度depth_cur＝3，说明已经划分到最小尺寸，退出递归，否则进入Step3；

Step3.将当前块划分为四个子块B₀、B₁、B₂和B₃，每个子块的深度为depth_i＝depth_cur+1，尺寸为L_i×L_i，L_i＝L＞＞1；

Step4.分别计算子块B_i的残差均值resi_i，对比resi_i与resi_cur：当resi_i≤resi_cur，不需要进行递归划分；当resi_i＞resi_cur，需要划分为更小尺寸的子块，进入Step1进行递归划分；如果B₀、B₁、B₂和B₃均不需要递归划分，将B₀、B₁、B₂和B₃划分为一个整体，取消对当前块B_cur的划分；

Step4.结束划分；

(2-2).修正与细化：

将前、后向参考帧的同位块和邻视点帧同位块水平方向上的5个块加入候选块集中，在7个块中选择最优匹配块，选择标准如下：

其中，B_lost(u₀,v₀)为丢失块8邻块中某个邻块(u₀,v₀)处的像素值，B_candi(u₁,v₁)为候选块对应邻块(u₁,v₁)处的像素值，选取相似度值SimValue最大的块作为最优候选块；当最优候选块的SimValue小于等于设定值T_pixel时，将这个最优候选块选择为最优匹配块，并用最优匹配块的划分模式对丢失块进行修正；否则说明这个丢失块没有最优匹配块，不进行修正；

如果最优匹配块存在，则使用它对丢失块进行划分模式修正，修正过程如下：对于丢失块与最优匹配块的同位置区域，如果它们的深度差大于1，则认为此处初步划分出现误差，对其进行修正，将其划分深度加1；否则保持划分深度不变：

depth_lost为丢失块的深度值，depth_match为最优匹配块同位置区域的深度值；

(3).子块重建优先级排序：

Step(i).将子块按划分深度大小进行排序，对于相同划分深度的子块，对比残差值大小，残差值小的子块优先级更高；

Step(ii).如果存在丢失块最优匹配块，遍历最优匹配块的子块，如果最优匹配块的子块为帧内编码块，则找到丢失块对应位置的子块，将它置为最低重建优先级；如果存在多个子块为最低重建优先级，则对它们按照残差值大小进行排序，残差值小的子块优先级更高，残差值大的子块放在最后重建；

(4).丢失块重建：

首先判断当前子块上侧、下侧、左侧和右侧是否存在未丢失块或已重建子块，如果存在，则计算边界相似度，然后根据边界相似度进行重建；如果不存在，则用视点间信息进行重建，通过使用视点间搜索估计视点间的视差，然后基于视差进行视差矢量外推，以矢量外推的运动信息重建丢失子块；

(4-1).基于边界相似度进行重建：

如果丢失块的子块周围有未丢失块或已重建子块，则使用根据边界相似度对该子块进行重建；

首先利用空域上候选块的运动矢量构建运动矢量集，运动矢量集中运动矢量的来源包括：

零运动矢量：用于背景块的重建，将零运动矢量加入运动矢量集；

丢失块邻块的运动矢量：选取空域上左上角、右上角、左下角以及右下角4个位置上共6个块的运动矢量加入运动矢量集；

最优匹配块的运动矢量：如果存在最优匹配块，则将最优匹配块同位置子块的运动矢量加入运动矢量集；

在构建完运动矢量集后，计算他们的边界相似度D_sim，边界相似度的计算方式如下：

其中，B_candi(x,y)为候选块B_candi中(x,y)位置的像素值，B_top、B_left、B_right和B_bottom分别为丢失块位置上侧、左侧、右侧和下侧的邻块，w_top、w_left、w_right、w_bottom分别为对应邻块的边界相似度系数，M为丢失块的尺寸；

通过计算运动矢量集中所有运动矢量的D_sim值，选取使D_sim值最小的运动矢量作为最优运动矢量，如果最优运动矢量的D_sim＜1.5，则选取该最优运动矢量对丢失子块进行重建，否则使用视点间信息进行重建；

(4-2).视点间信息重建：

如果丢失子块邻块中没有未丢失块或已重建子块，或者通过边界相似度所选取的最优运动矢量集的D_sim≥1.5，则使用视点间信息进行重建：假设v视点下第n帧中出现了丢包，首先在丢失视点的前视点和后视点间做视差搜索，视差搜索公式如下：

其中，B_n,v-1(x,y)为v-1视点下第n帧中位于(x,y)位置的像素值，B_n,v+1(x,y)为v+1视点下第n帧中位于(x,y)位置的像素值，为视差的水平分量，为视差的垂直分量；

完成视差搜索后，将得到的视差值除以2作为丢失视点与前一视点的视差；通过这个视差找到丢失子块位于v-1视点的匹配块，对匹配块及匹配块周围的8邻块位置的块均进行视差矢量外推，根据外推块与丢失块的重叠面积从9个候选块中选择一个重叠面积最大的候选块，使用此候选块的信息对丢失块进行运动补偿，完成对丢失块的重建。