[发明专利]结合虚拟视点绘制3D-HEVC整帧丢失错误隐藏方法

说明书

本发明涉及一种结合虚拟视点绘制3D‑HEVC整帧丢失错误隐藏方法。本发明方法首先利用基于深度图渲染技术及单路完好接收视点的图像帧，对丢失的整个图像帧进行绘制；然后，结合图像结构，对边界块的模糊失真进行基于时域信息的修补；最后，使用图像块联合运动判定法来决定图像块进行的后处理，对绘制后的静止块和运动块进行不同类型基于像素的残差补足以再次提升性能。本发明方法不需要任何运动矢量，很好的避免了HBP结构中由于运动矢量精确度的问题而造成的各种错误隐藏弊端。对立体视频在网络传输中发生的网络整帧丢包现象有很好的恢复效果。

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于3D-HEVC框架，结合基于深度渲染技术DIBR的多视点加深度视频整帧错误隐藏方法。

背景技术

错误隐藏是针对视频在网络传输过程中进行开展的。由于传输环境恶劣或是网络传输中断等传输不良因素导致，在传输过程中有可能发生传输信息丢包。错误隐藏是在发生传输信息丢包情况下不进行网络重传机制是运用到的技术。

多视点视频加深度编码格式的3D视频是由数个不同视点的视频序列及其深度序列构成，拍摄这些视点的相机通常会间隔一定的距离，然后解码端由这些已传输的视频序列通过虚拟视点绘制技术(基于深度图渲染DIBR)合成不同角度不同位置的虚拟视点，减少传输量。若在传输过程中，用于绘制的视频序列发生了整帧丢包，像素和运动矢量的空域相关性将无法运用到编码端的错误掩盖中。而3D-HEVC基于HBP的编码结构中，帧间的时域相关性有时较弱，需利用视点间相关性进行错误隐藏，但视点间的视差矢量存在局限性，在编码端视点间相关性有时应用较少，甚至没有视点间参考，不足以用于整帧图像的重建。因此，提出一种基于视点绘制技术的整帧图像错误隐藏的方法，由一同传输的其他视点序列及其深度序列，通过DIBR技术进行单视点绘制，由此绘制图像作为基础，经过失真填补及失真边缘的重新恢复处理，得到最终的整帧重建图像。

发明内容

本发明的目的是研究在大面积错误，整帧丢失错误发生在的情况下，如何利用有效的错误隐藏方法改进图像最终质量，提供一种利用试点绘制技术的多视点加深度视频错误隐藏方法。

本发明方法在单路视点虚拟绘制的基础上，进一步对不同特性的传输错误图像块进行错误隐藏，以及对运动复杂度不同的区域采用不同的失真重建方法来使最终的图像恢复到人眼不易察觉的错误的效果。该方法的具体步骤是：

步骤1.利用单路视频结合基于深度图的虚拟视点绘制(DIBR)技术，将整帧图像的纹理进行整体重建，重建出此帧图像，重建的视点图像为当前视点的绘制视点，包含的帧为当前视点绘制帧。采用的基于深度图的虚拟视点绘制技术为现有技术。

步骤2.已绘制图像中边界块判定及修补模糊区域；具体步骤如下：

2-1.判断图像的边界，所述边界包括整体边界和物体边界：

图像的整体边界由整体边界块构成，提取图像的整体边界块的方法是将左上角像素坐标值处于图像边界的图像块全部标记为整体边界块。

图像的物体边界由图像内的物体边界块构成；将含有物体产生了遮挡效应的边缘图像块判定为物体边界块，提取方法是：

通过深度序列的同位块来判断当前图像块是否为产生了遮挡效应的边缘图像块；用该深度同位块四个角块的像素值做判断：水平差异情况时，用左上角与右上角的差值，左下角与右下角的差值进行判断；垂直差异情况时，用左上角与左下角的差值，右上角与右下角的差值进行判断；其中任一差值如大于阈值I，则判断当前图像块为物体边界块，I＝18～22；

2-2.边界块修补：

整体边界块的修补方法：将原本处于拍摄范围之外的图像在其他视点找到相应的同位置图像块，将这些图像块复制像素值填补至当前失真位置。

物体边界块的修补方法：