[发明专利]结合虚拟视点绘制3D-HEVC整帧丢失错误隐藏方法

摘要

本发明涉及一种结合虚拟视点绘制3D‑HEVC整帧丢失错误隐藏方法。本发明方法首先利用基于深度图渲染技术及单路完好接收视点的图像帧，对丢失的整个图像帧进行绘制；然后，结合图像结构，对边界块的模糊失真进行基于时域信息的修补；最后，使用图像块联合运动判定法来决定图像块进行的后处理，对绘制后的静止块和运动块进行不同类型基于像素的残差补足以再次提升性能。本发明方法不需要任何运动矢量，很好的避免了HBP结构中由于运动矢量精确度的问题而造成的各种错误隐藏弊端。对立体视频在网络传输中发生的网络整帧丢包现象有很好的恢复效果。

主权项

1.结合虚拟视点绘制3D‑HEVC整帧丢失错误隐藏方法，其特征在于该方法步骤是：步骤1.利用单路视频结合基于深度图的虚拟视点绘制技术，将整帧图像的纹理进行整体重建，重建出此帧图像，重建的视点图像为当前视点的绘制视点，包含的帧为当前视点绘制帧；步骤2.已绘制图像中边界块判定及修补模糊区域；具体步骤如下：2‑1.判断图像的边界，所述边界包括整体边界和物体边界：图像的整体边界由整体边界块构成，提取图像的整体边界块的方法是将左上角像素坐标值处于图像边界的图像块全部标记为整体边界块；图像的物体边界由图像内的物体边界块构成；将含有物体产生了遮挡效应的边缘图像块判定为物体边界块，提取方法是：通过深度序列的同位块来判断当前图像块是否为产生了遮挡效应的边缘图像块；用该深度同位块四个角块的像素值做判断：水平差异情况时，用左上角与右上角的差值，左下角与右下角的差值进行判断；垂直差异情况时，用左上角与左下角的差值，右上角与右下角的差值进行判断；其中任一差值如大于阈值I，则判断当前图像块为物体边界块，I＝18～22；2‑2.边界块修补：整体边界块的修补方法：将原本处于拍摄范围之外的图像在其他视点找到相应的同位置图像块，将这些图像块复制像素值填补至当前失真位置；物体边界块的修补方法：首先基于深度图的当前绘制帧图像块内像素划分：将一个物体边界块分割为前位像素和后位像素；将物体边界块内所有像素按照像素值从大到小排列，根据最大的像素值Pmax设定阈值U,U＝Pmax‑25；大于阈值U的为前位像素，小于或等于阈值U的为后位像素；然后根据像素划分进行物体边界块修补：在产生遮挡效应后位像素所在区域，复制前向或后向参考帧中暴露出来的像素值，而在前位像素区域所在区域保留原有的像素值；步骤3.图像块运动判别及分类后残差填补处理：将图像分为静止块和运动块,对静止块进行静态残差填补，对运动块进行均值残差填补；具体方法如下：3‑1.采用运动块联合判定方法判断是否为运动块：(1)如当前绘制图像块的平均像素与前向或后向参考帧同位块的平均像素的差值大于阈值Y1，则判断当前绘制图像块为运动块，Y1＝20～30；(2)基于像素比较的判断方法；如果当前视点绘制图像块内某一像素与参考帧中同位块内同位置像素的差值如果在正常差值范围内，即小于阈值Y2，则判断这两个像素近似相同，Y2＝10～20；如果大于等于阈值Y2，则判断这两个像素不同；统计一个64×64块内，当前视点绘制图像块与参考帧中同位块内不同的像素数量，如果数量达到512，则判断当前绘制图像块为运动块；(3)基于结构相似性局部图像块相似度的判断方法，对比当前视点绘制帧与参考帧的局部结构相似性，判断局部是否处于运动状态；联合三种方法，判断运动块：当每种方法都判断当前块为运动块时，当前绘制图像块即为运动块，反之则为静止块；3‑2.残差填补处理：静止块与运动块分别采用了不同的算法，算法如下：Step1：基于当前视点丢失帧的参考帧图像，绘制参考帧图像，并进行边界填补的处理操作；Step2：计算参考帧内图像块的像素残差，静止块计算各个像素残差作为其残差值，运动块计算一个块区域内的残差平均值作为每个像素的残差值；Step3：将像素残差补偿至当前视点绘制帧，得到最终的当前视点重建帧。