[发明专利]深度与彩色视频边界不一致的检测和处理方法

摘要

本发明属于3D视频编码领域，涉及一种彩色视频协助的深度视频编码中基于彩色视频边界进行的深度视频边界不一致的检测和处理方法。本发明的具体步骤包括确定深度视频和彩色视频之间出现边界不一致的区域，检测深度视频与彩色视频之间的边界不一致像素，对边界不一致像素在熵编码前进行处理。本发明可以在基于彩色视频和深度视频之间的结构相似性进行深度视频预测过程中，对彩色视频和深度视频之间的边界不一致进行检测和处理，能够提高编码的率失真性能和最终解码端的虚拟视点合成质量，并且，能够有效地降低编码代价。

主权项

深度与彩色视频边界不一致的检测和处理方法，其特征在于：包括如下步骤：S1、确定深度视频和彩色视频之间出现边界不一致的区域，即以深度图中检测的物体边界为中心扩充H个像素的区域为深度视频和彩色视频之间出现边界不一致的区域Ω，其中，2≤H≤3；S2、检测深度视频与彩色视频之间的边界不一致像素，包括：S21、找出S1所述区域Ω内边界不一致的可能像素：计算Ω中的像素O_i与用于编码预测的可能深度值P的绝对差D，即D＝|O_i‑P|，当D＜T时，则O_i为可能的不一致像素，继续进行下一步的边界不一致检测，当D≥T时，此时该像素为周围邻域中没有出现的新物体，不进行继续检测，其中，P属于已编码深度值的集合；S22、检测深度视频与彩色视频之间的边界不一致像素，包括：S221、搜索并记录当前待检测区域所在块中Ω之外的残差绝对值的最大值，记作当前块的残差最大幅度R_max；S222、判断当前检测像素是否为边界不一致像素，当当前检测像素的残差绝对值远大于该像素所在块的残差最大幅度时，该像素的原始值错误，为边界不一致像素：若R_i‑R_max＞T₁，则当前检测像素为边界不一致像素，若R_i‑R_max≤T₁，则当前检测像素不为边界不一致像素，其中，T₁为阈值，T₁＞0，R_i为当前检测像素的残差绝对值；S3、对S2所述边界不一致像素在熵编码前进行处理，包括：S31、确定S2所述边界不一致像素的所属区域，当该像素的预测值与两侧邻域像素之一的像素值较近时，该像素即可判定为属于相应邻域，过程为计算出边界不一致像素的预测值与所述边界不一致像素两侧邻域像素的原始像素的差值的绝对值D_l和D_r，其中，所述邻域像素在边界不一致区域外，D_l为边界不一致像素左侧差值绝对值，D_r为边界不一致像素右侧差值绝对值；S32、当D_l＜D_r时，将S2所述O_i所在区域设为左侧邻域，并将O_i的像素赋值为左侧邻域边界不一致出现区域之外的最邻近像素的原始值，将O_i的残差值设为该原始值与O_i的预测值之差，当D_l＞D_r时，将S2所述O_i所在区域设为右侧邻域，并将O_i的像素赋值为右侧邻域边界不一致出现区域之外的最邻近像素的原始值，将O_i的残差值设为该原始值与O_i的预测值之差。