[发明专利]一种自然三维电视系统

说明书

技术领域

本发明涉及一种自然三维电视系统，具体包括基于深度的三维电视的编解码和多视点重建方法。

背景技术

从20世纪40年代电视发明以来，经历了黑白电视、彩色电视和正在发展的数字高清晰度电视三个阶段，电视技术逐渐向着大屏幕、彩色化、高清晰度、多媒体方向发展。而三维电视(3DTV)具有深度感和临场感，将会使观众获得最大限度的立体感受，因而必将成为继数字高清晰度电视技术之后又一个新的发展方向。

人眼产生立体感主要基于两个方面：双目视差(binocular parallax)和运动视差(motion parallax)。双目视差始于Charles Wheatstone 1838年的研究工作，指的是双眼看到同一物体的不同映像；运动视差始于Helmholtz 1866年的研究工作，指的是头部运动时看到同一物体的不同映像。如果采用一个装置，使左右眼分别看到不同的视差图像，则在大脑中就会产生精确的三维物体，以及该物体在场景中的定位，这就是具有深度的立体感。同时研究也表明：立体感和立体图像的整体质量取决于质量较好的单眼图像。参见：L.Stelmach，W.Tam，D.Meegan，A.Vincent，and P.Corriveau，“Human perception of mismatched stereoscopic 3Dinputs，”International  Conference  on  Image Processing，vol.1，10-13Sept.2000，pp.5-8。

现有用于3DTV的立体显示技术主要分为两类：分光立体眼镜立体显示(Glasses-based Stereoscopic)和自动分光立体显示(Auto-stereoscopic)。分光立体眼镜立体显示技术兴起于二十世纪八十年代，主要特点是需佩戴眼镜，通过镜片的滤光效果使左右眼看到不同的视差图像，代表有基于互补色的立体显示系统和基于极化光的立体显示系统，后因需佩戴眼镜被逐渐淘汰。现在主流的立体显示技术是自动分光立体显示，利用狭缝光栅或微透镜阵列的光路遮挡或引导使左右眼看到不同的视差图像，优点是无需佩戴眼镜和适合多人多视角观察，这方面已有很多的成熟的产品。

由于立体成像的特殊要求，立体图像获取主要是通过多个(两个以上)摄像机阵列。通常我们将多个相机的排列方式分为两类：平行排列方式和“内八字”排列方式。平行排列方式的特点是相机平行排列，其光轴垂直于相机平面，有较简洁的深度视差关系，但其摄取的场景范围不同，使两幅视差图像的残差较大；“内八字”排列方式是一种环形汇聚式的排列方式，更符合人眼的观察特点，但其只适合拍静态的物体，对于动态的物体就必须调整汇聚点，显然这会造成很多困难，同时该方案的深度视差计算公式也较复杂。2002年，欧洲ATTEST(Advanced Three-Dimensional Television System Technology)提出了一种新型的“shift-sensor”相机结构，这种相机结构更像是前两种方案的一种折中：相机平行排列，光轴也垂直于相机平面，但它调整了相机内部的CCD感光片，使相机拍摄的场景范围相同。这个方案有许多优点：有很简单的视差深度关系，场景相同保证图像间预测的残差小；相对于“内八字”方案，不会引入不想要的“竖直偏移”，这是造成立体视觉眼疲劳的重要原因。

除了传统的多摄像机摄取方式，还有一种“2D图像+深度”的方式，这类方案的压缩码率更高。ATTEST提出用Zcam装置来直接获取场景的深度，其原理是发射红外线，通过测量红外线来回的时间来估计物体离摄像机的距离(深度)。该方法虽然简单，但由于其精度较低至今仍未被广泛采用。

三维电视由于其需传多路的视频流，造成其信息量很大，对传输网络的带宽要求高，所以一般将数字视频信号在存储或者传输前先进行压缩编码，以便节省存储空间和网络带宽。现有的3DTV编码方案大部分是基于场景的，基于场景的立体编码方法分为三类，第一类是传统的双路视频编码方法，第二类是多路的视频编码方法，第三类是基于深度的视频编码方法。

双路视频编码方法传的是左右眼的视差图像，通常将一路用传统的2D视频编码技术(比如MPEG-2)，作为基本层；另一路用视点间预测编码，去除冗余，作为增强层。缺点是只适合单人单角度观看，比较典型的是MPEG-2的MVP(Multi-View Profile)。