[发明专利]一种利用深度信息的多通道视频流编码方法

说明书

技术领域

本发明涉及运动图像处理技术，尤其涉及一种利用深度信息的多通道视频流的编码方法。

背景技术

电视系统经历了从黑白到彩色，从模拟到数字的演化。发展至今的二维电视系统提供给观众的仍然是单个视角、平面的影像，用户不能够根据自己的需要从感兴趣的角度观看影像，而且平面的影像有悖于用户的自然三维视觉体验。

作为音视频技术的发展方向，交互式自由视点电视能够提供给用户多个通道的视频流，用户可以根据需要选择一个或者多个通道的视频流作为观看角度，或者通过视点(通道)之间的内插产生更多虚拟视点(通道)视频流，体验到平滑的观看场景角度变化效果；三维(立体)电视在提供给用户多个通道视频流的基础上，通过显示设备的支持，包括立体眼镜、自由立体显示器等等，使用户在观看时感受到场景的深度，体验到接近自然视觉的三维效果。交互式自由视点电视和三维电视的结合将在更多领域产生广阔的应用前景，例如游戏娱乐、教育训练、虚拟现实等等。

交互式自由视点电视和三维电视系统可以分为内容获取、编码压缩、传输、解码、显示五个主要的功能级，同目前的数字电视系统相比，上述系统对各个功能级的资源消耗、功能要求都大为增加，一个主要的特点是上述两个电视系统都需要高效率地编码压缩多个通道的视频流。

多通道视频流存在着数据量巨大的特点，由此造成编解码功能级具有很高的计算复杂度。但多通道视频流的各个通道由于是对同一场景的拍摄，除了通道的平移和旋转，各个通道的内容之间具有很强的空间域上的相关性，这给高效压缩多通道视频流带来了可能性。

目前国际上研究的比较多的对多通道视频流编码的方法有二类，第一类基于MPEG视频编码标准，第二类基于深度图像渲染(DIBR，Depth-Image-BasedRendering)技术，这两类方法有各自的特点。

第一类方法基于MPEG视频编码标准。

2003年5月，由ITU-T和ISO/IEC的专家共同组成的联合视频小组JVT(Joint Video Team)制定了视频编码国际标准H.264/AVC。H.264采用了混合编码框架结构，采用了最小4×4的可变块运动预测、多个参考图像帧、上下文自适应的二进制算术编码等等先进技术，对单个通道视频流进行压缩编码可以取得很高的效率。

JVT目前正在研究制定多视点编码(MVC，Muiti-view Video Coding)国际标准。MVC利用了视点内部和不同视点之间的图像帧的相关性，利用H.264/AVC进行编码压缩，由于采用时间和空间的联合预测编码，同各个视点独立编码的联播(Simulcast)相比，目前实验显示，在不同的视频内容下，时空联合编码可提高0.5dB到3dB的增益。参见：P.Merkle，A.Smolic and K.Muller，Efficient prediction structures for multiview video coding，IEEE Trans.CSVT，vol.17，no.11，pp.1461-1473，2007。

MVC利用视差预测获得的视差矢量来代表通道之间的位移，其确定视差矢量的代价函数的目标是码率最小，这是一种不精确的位移表示方法，使得该位移矢量只能够表示两个通道之间的位移关系，而不能够转化为物体的深度信息，进而表示多个通道之间的位移关系。所以MVC在每两个相邻通道的关键帧之间都需要一个视差矢量。

MVC把单个通道在时间域上的图像帧分成固定长度的图像组(GOP，Groupof Picture)，GOP的长度放映了单个视频流的图像帧在时间域上的相关性。MVC对两个相邻通道之间的关键帧作视差预测，视差矢量反映的是两个相邻通道的图像帧在空间域上的相关性，但是GOP的长度决定了视差预测的周期，因而限制了更好的挖掘图像帧的空间相关性。

MVC需要编码每个视点通道，其编码结构比较复杂，需要大的计算量、长的编码延时和大的参考帧存储空间。当需要编码的通道数目增加时，码率也相应增加。MVC编码、传输所有的视点，将拍摄图像的尺寸和摄像机距离同显示端的图像尺寸和观看距离联系在一起，这样限制了显示端观看位置的灵活性。