[发明专利]一种立体视频宏块丢失错误隐藏方法

说明书

技术领域

本发明涉及一种视频错误隐藏方法，尤其是涉及一种立体视频宏块丢失错误隐藏方法。

背景技术

随着三维显示及其相关技术的快速发展，三维（立体）视频由于能提供全新的立体感体验，满足了观赏者对于深度感、交互式和立体感的需求，因此越来越被人们所重视。伴随着视频通信技术的广泛应用，如何有效地实现高质量、稳定的视频传输成为了研究人员追求的更高目标。在进行立体视频编码和传输的过程中，由于数据量大，因此立体视频编码方法均采用空域、时域和视点域预测来消除冗余信息，使得传输码流的抗误码性能降低，对信道差错更加敏感。当视频流通过不可靠的信道传输时，会造成数据包丢失或比特出错，如果不加以控制，则不仅会影响当前帧和后续帧的正确解码；而且由于编码结构还采用了视点间预测，因此还会对相邻视点帧的解码造成影响，这将严重影响解码端视频的重建质量，从而会降低人眼观看的舒适度。

错误隐藏技术是在解码端利用正确接收到的视频数据，试图用主观可接受的、近似原来质量的数据掩盖差错受损数据，通用性强，是解决上述问题的较好途径之一，具有广阔的应用前景。对于部分宏块丢失的情况，可利用的信息有丢失宏块周围正确接收的可用宏块，及出错帧的时域相邻帧和视点间相邻帧的有效信息。目前已有的宏块丢失错误隐藏方法的恢复过程为假设出错帧中丢失宏块与周围相邻宏块或者是参考帧中同一位置的宏块具有相同的运动矢量/视差矢量，从而将这些相关宏块的矢量作为候选矢量集，使用边界匹配方法或者加权方法恢复丢失宏块。对于立体视频而言，不同区域的时域相关性的强弱是不同的，对于时域相关性强的丢失宏块使用时域帧拷贝方法不仅能够取得较好的恢复效果，而且计算复杂度低，因此对不同区域的丢失宏块采取同一种隐藏方法是不合理的。现有的立体视频宏块丢失错误隐藏方法并没有很好的考虑不同区域丢失宏块的特点及出错帧的时空域相关性和视点间相关性。因此，继续深入研究立体视频宏块丢失的错误隐藏技术十分必要。

发明内容

本发明所要解决的技术问题是提供一种立体视频宏块丢失错误隐藏方法，其能够有效地提高丢失帧的恢复质量。

本发明解决上述技术问题所采用的技术方案为：一种立体视频宏块丢失错误隐藏方法，其特征在于它具体包括以下步骤：

①假设立体视频中t时刻的右视点图像为丢失帧，记为将立体视频中已正确解码的t-1时刻的右视点图像记为将立体视频中已正确解码的t-2时刻的右视点图像记为将立体视频中已正确解码的t时刻的左视点图像记为将立体视频中已正确解码的t-1时刻的左视点图像记为

②计算与的帧差图像，记为并计算与的帧差图像，记为其中，符号“||”为取绝对值符号；

③将和分别分割成个互不重叠的尺寸大小为u×v的第一图像块，然后根据中的每个第一图像块中的所有像素点的像素值的均值，确定中的每个第一图像块为运动块还是为静止块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；

将和分别分割成个互不重叠的尺寸大小为u×v的第二图像块，然后根据中的每个第二图像块中的所有像素点的像素值的均值，确定中的每个第二图像块为运动块还是为静止块；

④首先采用移动帧差法计算与之间的全局视差矢量，记为D_g；然后根据D_g对中的所有运动块进行水平位移，获得对应的掩膜图，记为再将分割成个互不重叠的尺寸大小为u×v的图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；最后根据中的每个第一图像块和中的每个第二图像块，确定中的每个图像块为运动块还是为静止块；

⑤首先根据中的每个图像块，确定中的每个宏块为运动宏块还是为静止宏块；然后检测出中的所有丢失的宏块，当丢失的宏块为静止宏块时，采用直接时域拷贝的方法恢复该丢失的宏块的亮度信息和色度信息；当丢失的宏块为运动宏块时，根据该丢失的宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块的运动矢量和视差矢量及中与该丢失的宏块的坐标位置相同的宏块的运动矢量和视差矢量所指向的候选宏块，恢复该丢失的宏块的亮度信息和色度信息。

所述的步骤③的具体过程为：

③-1a、将和分别分割成个互不重叠的尺寸大小为u×v的第一图像块，将中当前待处理的第一图像块定义为当前第一图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；