[发明专利]基于运动信息与深度信息的3D视频编码传输方法

说明书

技术领域

本发明涉及视频编码领域，具体涉及一种基于运动信息和深度信息的3D视频编码传输方法。

背景技术

目前，广泛应用的3D视频编码与传输格式主要有传统立体视频格式、多视角视频格式以及色彩视频加像素深度信息图格式。

传统立体视频格式只有两个视角点，观看这种立体视频用户需要一种特制的3D眼镜来获得视频图像的立体纵深感。常用的Stereo立体视频编码方式有两种，一种是直接对左右眼视图的视频数据进行独立编码(Simulcast)，另一种是应用左右视图的相关性预测编码（Interview Prediction）。这两种方法对比特率的要求都不高，仅是传统2D视频所需码率的两倍甚至少于两倍。但是，这种格式对于用户而言只能从一个固定的视角观看立体视频信号，该缺陷会限制其未来的应用空间。

多视角视频格式是由多台摄像机从不同角度对同一场景进行拍摄，它可以实现立体视频、自由视角电视（Free Viewpoint Video）和多视角3D电视的应用。由于所有的摄像机仅是从不同角度捕捉同一个场景，所以多视角视频中包含大量的相邻视角视图间的相关冗余信息。因此，结合视频信号的空间域相关性（Spatial correlation）和时间的相关性（Temporal correlation），以及不同视角色彩视图之间的高度相关性（Interview correlation）是高效地进行多视角视频编码的关键。

色彩视频加像素深度信息图格式中，像素深度信息图(简称深度图，depth map) 所体现的是场景中物体表面到摄像机成像平面的距离信息，通过深度图及其对应的纹理色彩图可以重新绘制立体视频图像。近几年来，这一格式吸引了来自立体视频压缩和计算机视觉领域的高度关注, 因为它有很好的3D视频压缩能力和功能拓展性。Muller, K.; Merkle, P.; Wiegand, T.在《3-D Video Representation Using Depth Maps》（ Proceedings of the IEEE , vol.99, no.4, pp.643,656, April 2011）中提到，在色彩视频加深度图格式中，只需要一些摄像机的参数，比如焦距，两个镜头之间的距离等信息，即可合成其他视角的视频信息；同时，为了正确表示深度图的信息，深度范围的信息也需要传输。Smolic, A.; Mueller, K.; Stefanoski, N.; Ostermann, J.; Gotchev, A.; Akar, G.B.; Triantafyllidis, G.; Koz, A.在《Coding Algorithms for 3DTV—A Survey》（ Circuits and Systems for Video Technology, IEEE Transactions on , vol.17, no.11, pp.1606,1621, Nov. 2007）中提到，对于该方案的深度图部分的编码，每一帧深度图被认为是黑白视频信号，然后使用目前先进的视频编码器（例如MPEG-2, MPEG-4, H.264/AVC等）进行压缩。

目前主流的视频编码方案（例如H.264/AVC）中，采用运动估计与运动补偿方法减小视频帧间的冗余，帧间可以通过运动向量来表示各个宏块相对于参考帧的运动，并通过运动补偿等算法可以最终解码出帧。但是由于摄像机运动（包括平动和转动）引起的运动会造成画面的全局运动，编码器在对每个宏块进行编码时，全局运动会增加运动估计的时间，并且增加码流信息。Chen, X.; Zhendong Zhao; Rahmati, A.; Ye Wang; Lin Zhong在《Sensor-Assisted Video Encoding for Mobile Devices in Real-World Environments》（ Circuits and Systems for Video Technology, IEEE Transactions on , vol.21, no.3, pp.335,349, March 2011）中提出了一种基于传感器辅助的视频编码方案，文中使用了加速度传感器和电子罗盘传感器获取摄像机的全局运动，从而获得全局运动矢量，然后对H.264中的运动估计算法进行修改，减小了视频压缩码流以及压缩时间。但是，该文中只获取并使用了摄像机的转动信息做编码辅助，并没有考虑平动带来的图像全局运动。

发明内容