[发明专利]一种视频处理方法、视频码流及视频处理装置

说明书

技术领域

本发明涉及一种那个视频处理方法、视频码流及视频处理装置。

背景技术

视频信号中存在着大量的冗余信息，这些冗余信息可以分成空间冗余信息、时间冗余信息、数据冗余信息和视觉冗余信息。

视频压缩技术一般基于块的、集预测编码、变换编码和熵编码于一体的混合编码(Hybrid Coding)框架。目前，由联合视频组(JVT，Joint Video Team)制定的H.264/AVC视频压缩标准代表了最先进的视频图像压缩技术。该编码标准便是构建在混合编码框架上的。视频混合编码框架中的预测编码将编码图像区域分成编码单元，对编码单元进行预测编码，得到参考图像区域，并求得预测值和待编码值的差即残差数据，对残差数据进行二维变换编码；然后在变换域中对变换系数进行量化、扫描转换成一维信号；最后进行熵编码。

在混合编码框架中，预测编码是非常重要的部分，尤其是图像区域间预测，是提高编码效率的有效技术手段。因此，在图像区域间预测技术中，生成参考图像区域是非常重要的环节，高效的图像区域生成算法，能够使得残差值减小，最终使得编码的码率降低。因此，开发高效的参考图像区域生成算法对提高编码效率具有重要意义。在多视点视频编码中，参考图像区域的获得，除了通过时域上相邻图像区域的提取之外，还可通过相邻视点的同时刻图像区域获得。提高从相邻图像区域提取参考图像区域质量的方法，可提高多视点视频预测效果，从而提高编码效率。

从20世纪40年代电视发明以来，经历了黑白电视、彩色电视和正在发展的数字高清晰度电视三个阶段，电视技术正逐渐向大屏幕、彩色化、高清晰度、多媒体方向发展。三维电视(3DTV)具有深度感和临场感，将会使观众获得最大限度的立体感受，因而必将成为又一个新的发展方向。对应用于三维电视的三维视频的压缩编码技术的研究具有重要意义。

纹理序列即是当前使用摄像机获得的二维图像序列。获得纹理序列是一个将三维真实世界投影到摄像机图像平面的过程。这一过程中第三维的信息被丢弃，使得仅依靠纹理序列不能得到相应的三维场景的所有信息。

为完善地表达三维场景，就需要引入与纹理序列相对应的补充信息，以表示出第三维的信息。一般说来，补充信息每一图像区域的分辨率与纹理序列一致或比后者更低，并采用灰度图的格式，每一个像素点的灰度值表征了相应纹理序列上该点的深度等信息。利用纹理序列和相应的补充信息以及必须的摄像机参数，即可完整表示三维场景。目前最为常见的补充信息格式为将纹理序列上对应点的深度信息灰度值表达的深度序列。除此之外，还有将在三维投影中投影单位距离时像素移动的像素距离直接或经变换后以灰度值表达的补充信息等。

人眼产生立体感主要基于双目补充信息(binocular parallax)和运动补充信息(motion parallax)两个方面。如果采用一个装置使左右眼分别看到不同的补充信息图像，则大脑中就会产生精确的三维物体，以及该物体在场景中的定位，这就是具有深度的立体感。为了达到这一效果，需要利用一对或多对纹理和补充信息分别生成相应的单眼图像。

在三维电视应用环境下，除了经由信道传输的纹理序列，用户端往往还需利用补充信息结合纹理序列合成更多的虚拟视点图像作为供观众观看的单眼图像，以得到较佳的三维感受。在三维电视领域，将不同摄像机角度下获得的三维场景的投影图像称为不同的视点图像；在这里，摄像机可以是现实存在的，也可以是虚拟的，虚拟摄像机角度下的视点图像被称为虚拟视点图像。为完成合成虚拟视点图像的功能，除了补充信息之外，还需要表达待投影和投影目标摄像机之间的位置关系的摄像机参数信息。结合运用摄像机参数信息和补充信息，可将相应的纹理序列投影到需要的视点位置上。若不使用纹理序列而仅使用补充信息，也可将补充信息本身投影到需要的视点位置上。

前向投影步骤(Forward Warping)是指利用摄像机参数将已有视角的图像投影到虚拟视角位置的过程。该步骤是虚拟视生成中最基本、最重要的步骤，其基本原理是利用机器视觉的相关知识，将原始纹理图和深度图重建为三维世界中的图像点，再按照所需角度将其重新投影为所需角度的二维图像。