[发明专利]一种基于3D-HEVC框架的深度视频错误隐藏方法

摘要

本发明涉及一种基于3D‑HEVC框架的深度视频错误隐藏方法。目前还缺乏在错误发生在深度图的情况下，通过错误隐藏方法改进图像最终质量的有效方法。本发明方法先把深度图中各64×64大小的编码单元块进行分类，划分成静止块和运动块，然后对静止块采用从参考帧直接拷贝同位块进行错误隐藏，对运动块采用矢量补偿的方法进行错误隐藏，最后对错误隐藏后性能不佳的错误修复块进行进一步性能优化。矢量补偿方法具体是：首先构建运动共享矢量、空域矢量集，然后计算全局视差矢量集，重建丢失块，最后计算外边界匹配度。本发明方法结合了新标准的特性并改进了已有错误隐藏方法，对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。

主权项

1.一种基于3D‑HEVC框架的深度视频错误隐藏方法，其特征在于该方法的具体步骤是：步骤(1).根据图像丢失块像素点的坐标，获取前向参考帧中的同位块B1和后向参考帧中的同位块B2，同位块大小为64×64；步骤(2).取两个同位块B1和B2像素均值的差值绝对值,当平均像素差Th大于阈值1，即判断当前丢失块为运动块，反之则判断为静止块；如果判断丢失块的类型为静止块，采用将前向参考帧中的同位块或后向参考帧中的同位块信息来填补图像中的当前丢失块进行恢复；如果判断丢失块的类型为运动块，采用基于矢量补偿的方法进行恢复；再对最终恢复性能较差的丢失块进行质量再提升；基于矢量补偿的方法恢复的具体步骤是：步骤(a).构建运动共享矢量：将纹理图中同位块的可用运动矢量缩放后，加入待选矢量集；若对应的同位块为帧内编码块，则取周围邻块不为0运动矢量的平均值作为当前待选运动矢量；缩放计算方法：MVtexture为最终优化后的运动矢量，MVt为纹理图中直接获取到的运动矢量，R为缩放比例；步骤(b).构建空域矢量集：选择大小为4×4的左下块0、左块1、左上块2、上块3、右上块4和下块5的运动/视差矢量来构建空域矢量集，其对应位移矢量集为{SV0,SV1,SV2,SV3,SV4,SV5}；如果上述待选块中发生丢失，则放弃该块的运动矢量信息；步骤(c).全局视差矢量：全局视差矢量值DV_g计算方法：其中N是大小为8×8且存在视差矢量的块的数量，DVi是第i个为8×8块的视差矢量值；由上述运动共享矢量、5个空域矢量，一个全局矢量构成了待选矢量集；步骤(d).重建丢失块：从待选矢量集中选择某候选运动/视差矢量，利用运动/视差矢量补偿的方法，填充丢失块中像素位置的空洞；若当前帧F中丢失块像素点p的位置为(x,y)，待选矢量集的候选位移矢量为SV＝(svi,svj)，通过偏移补偿计算得到参考帧Fr中对应像素点p′的位置(x′,y′)，其中：用Fr中像素点p′的像素值作为重建像素填充当前帧F中的空洞；步骤(e).计算外边界匹配度：由加权外边界匹配算法计算参考帧中运动/视差补偿块外边界与丢失块外边界匹配度：其中，wotop为图像块上外边界分配的权重值、woleft为图像块左外边界分配的权重值、wobottom为图像块下外边界分配的权重值、woright为图像块右外边界分配的权重值；k，j分别表示图像块边界像素横、纵坐标的变化值；M是编码单元CU块的边长；p1(x+k,y+1)、p2(x′+k,y′+1)分别为丢失图像块、参考图像块上外边界在像素坐标点(x+k,y+1)、(x′+k,y′+1)处的像素值；p1(x‑1,y+j)、p2(x′‑1,y′+j)分别为丢失图像块、参考图像块左外边界在像素坐标点(x‑1,y+j)、(x′‑1,y′+j)处的像素值；p1(x+k,y+M)、p2(x′+k,y′+M)分别为丢失图像块、参考图像块下外边界在点(x+k,y+M)、(x′+k,y′+M)处的像素值；p1(x+M,y+j)、p2(x′+M,y′+j)、分别为丢失图像块、参考图像块右外边界在点(x+M,y+j)、(x′+M+1,y′+j)处的像素值；根据加权外边界匹配算法计算深度图外边界匹配度和纹理图外边界匹配度具体公式为：MAD为计算出的绝对差值；表示当前深度图中丢失块与通过候选位移矢量在参考帧中找到的运动/视差补偿块，二者之间的加权外边界匹配度；表示与当前深度图对应的纹理图中的同位块，与此同位块通过纹理图位移矢量找到的补偿块，二者之间的加权外边界像匹配度；选择位移矢量补偿中MAD值最小的重建块作为最终的填充块；质量再提升具体方法是：步骤(f).质量提升重建算法公式：通过运动/视差补偿在参考帧中获取候选块作为重建块；若丢失块是双向参考，则在前后参考帧中进行运动/视差补偿，分别在这两个参考帧中获取候选块，然后将两个候选块的像素值取平均值作为最后的重建块；丢失块像素值重建的计算公式是：Ft(x,y)＝w1Ft1(x1',y1')+w2Ft2(x2',y2')；其中Ft(x,y)为丢失块像素点(x,y)坐标处的像素值，Ft1(x1',y1')，Ft2(x2',y2')分别为两个参考帧中候选块对应位置(x1',y1')、(x2',y2')处的像素值，w1和w2分别为加权值；单向参考时w1或w2的值为1，同时另一者的值为0；双向参考时，w1＝w2＝0.5；步骤(g).利用参考帧重组合进行丢失块质量提升：根据丢失块周围正确接收块的位移矢量，在当前丢失块位置运用矢量补偿，获取每个参考帧中的重建参考块，判断重建参考块位置是否发生遮挡，剔除不可用的参考帧；Step1：选择遮挡判断块：选取每个丢失块四周8个4×4的预测单元PU块作为遮挡判断块Al，l＝1～8，分别为丢失块上预测单元A1、A2，丢失块下预测单元A3、A4，丢失块左预测单元A5、A6，丢失块右预测单元A7、A8；接着由矢量补偿方法找到参考块，选取参考块四周相同位置的8个PU块Al′作为遮挡判断参考块；Step2：判断参考补偿块是否被遮挡：由矢量补偿方法找到参考块，通过遮挡判断块的像素值是否存在显著增大进行判断，计算像素归一化值δ是否大于判断阈值Th 2，其中,h、g分别为横纵坐标偏移量，A_l'(x+g,y+h)为参考补偿块周边的判断块内坐标(x+g,y+h)处的像素值，A_l(x+g,y+h)为当前丢失块周边的判断块内坐标(x+g,y+h)处的像素值；当周边判断块中有一个块的δ值大于阈值Th 2时，则判断参考补偿块发生了遮挡；若参考补偿块判断为被遮挡块，则表明此参考补偿块的来源帧不适合作为参考帧，并去除掉这部分遮挡导致的参考帧；然后，从各可用参考帧中获取到的重建参考块进行两两组合，可得到新的重建参考块用其进行受损块重建；选择质量最好的重建块作为最后的质量提升后的重建块。