[发明专利]一种基于显著性的立体三维视频错误隐藏方法

说明书

本发明公开了一种基于显著性的立体三维视频错误隐藏方法。传统的错误隐藏技术在视频流在传输过程中发生整帧丢失时恢复效果差。本发明方法首先获取丢失帧的运动显著性图、深度显著性图，深度边缘显著性图，然后融合运动显著性图和深度显著性图并块化，再与深度边缘显著性图合并得到最终显著性图，并进行显著等级划分。对高显著等级的区域采用视点间搜索像素填补和候选运动矢量补偿恢复，对中显著等级的区域采用时域搜索像素填补和视点间搜索像素填补，对低显著等级区域采用时域帧像素拷贝填补。本发明方法除了结合3D—HEVC特性提出新的错误隐藏方法，考虑了视频画面的显著性，对立体视频在网络传输中发生的整帧丢失现象有很好的恢复效果。

技术领域

本发明属于计算机领域，具体是视频编解码技术领域，涉及一种基于显著性的立体三维视频错误隐藏方法。

背景技术

错误隐藏是针对视频流传输丢包，既不用像FEC(前向纠错)那样消耗额外带宽，也不用像ARQ(自动重传)那样引入额外的延时，利用帧间和帧内的冗余性，使用已正确接受的信息来隐藏丢失帧中的错误区域。视频流在传输过程中容易因网络拥塞或者带宽受限等问题发生丢包现象，从而降低当前帧及后续帧的解码质量，使观众的视觉体验变差。为解决这一问题，在解码端应用错误隐藏技术来修复差错帧。传统的错误隐藏技术主要面向H.264标准的二维编码视频，对于立体视频的修复效果较差，因此不能直接应用于新标准HVEC及其扩展的多视点加深度框架3D-HEVC。

发明内容

本发明的目的是针对视频流在传输过程中发生整帧丢失时，传统的错误隐藏技术恢复效果较差的问题，提供一种基于显著性的立体三维视频错误隐藏方法，本发明方法不仅提出了新的错误隐藏方法，而且考虑了人眼感知特性显著性的提取。

本发明方法基于3D-HEVC框架，利用三种显著性图确定显著等级，根据显著等级的不同采用不同的恢复方式，对显著等级为高的区域使用MV补偿以及搜索视点间前后帧相似块的方法，对显著等级为中的区域使用搜索前后帧和视点帧相似块的方法，对显著等级为低的区域使用搜索前后帧相似块的方法来恢复。

本发明方法具体是：

步骤(1).采用高效率视频编码HEVC默认的编码树单元CTU大小64×64，获得丢失帧中各区域的显著等级，具体如下：

(1-1).对一个丢失块分别获取前向参考帧中同位置的像素块、后向参考帧中同位置的像素块，以及视点间当前参考帧中同位置的像素块；计算得到像素点(x₀+i,y₀+j)当前时刻的运动显著性图S_a的像素值S_a(x₀+i,y₀+j,t)；其中，视点间的参考视点为当前视点的水平相邻视点；所述的丢失块是指彩色图丢失，其对应深度图S_c并未丢失；

S_a(x₀+i,y₀+j,t)＝||p_n(x₀+i,y₀+j,t-1)-p_n-1(x₀+i,y₀+j,t)|-|p_n(x₀+i,y₀+j,t+1)-p_n-1(x₀+i,y₀+j,t)||；