[发明专利]基于光场和双目视觉技术的自由立体显示系统和方法

说明书

技术领域

本发明涉及一种自由立体显示系统和方法，特别是一种基于光场技术和双目视觉技术的、可在较大视场范围观察到立体图像的显示系统和方法。

背景技术

三维显示技术的研究经历了多年的发展，取得了丰硕的成果。三维显示技术主要有立体镜技术(Stereoscopic)、自动立体镜技术(Auto stereoscopic)、体块三维显示技术(Volumetric Display)、全息三维显示技术(ElectronicHolography)等四种。其中应用最多的是立体镜技术和自由立体镜技术。立体镜技术需要配戴头盔显示器或3D立体眼镜，必然减少观察显示试验的娱乐，舒适和自然；人眼如此近距离聚焦容易感到疲劳；屏幕成像太小，必须尽可能放大以达到和人眼所见视野相一致；而且HMD(头盔显示器)的造价也比较昂贵等。但是在许多特定场合，HMD具备特殊的优势，所以它得到了广泛的应用，如军事、CAD(计算机辅助设计)/CAM(计算机辅助制造)、工业生产、模拟和训练、3D(三维)显示与电子游戏、显微技术和医疗等领域；自动立体镜三维显示技术和立体镜三维显示技术一样，都是根据视差创造立体的原理。但它不需要观察者佩带特殊的眼镜，而是由透镜屏或者视差挡板直接提供双眼视差。人可以在立体显示器前一定范围内观察到立体图像。基于该技术的立体显示器已于近年推出，为未来显示器的一个发展方向，具有一定的应用前景。体块三维显示是指图像显示在一个真实的立体空间中，这个立体空间可以是透明的发光体，可以是旋转的显示屏形成的立体空间，或是二维图像通过移动镜子或变焦透镜产生深度效果实现三维显示。基于该技术的系统复杂、造价很高；基于全息技术的三维显示，全息再现的是原记录物体的立体影像，理论上可以实现真正意义上的三维显示，但目前受记录和再现器件的限制，尚不易获得理想的再现象，是正在研究开发的一种显示技术。

发明内容

本发明的目的在于针对现有技术存在的缺陷，提供一种基于光场和双目视觉技术的自由立体显示系统和方法，人可以在立体显示器前更大的范围观察到立体图像，而且根据视点的不同立体图像是改变的，即图像变换与人的视点之间具有自适应性。

为达到上述目的，本发明的构思：

本发明结合了光场技术和双目视觉技术，应用于图像的立体显示中，可实现具有人的视点与图像变换之间的自适应性的自由立体显示。

本发明中，先利用光场技术获得并建立立体场景的光场数据库，然后利用双目视觉技术实现对观察者眼睛的实时跟踪与精确定位，并计算出双眼的空间位置坐标，双眼的位置相当于2个空间视点，把这2个视点输入到计算机，通过光场重构技术把这2个视点处的视图提取出来，形成2个有视差的图像，并传输到2个投影仪上，由这2个投影仪投射到立体屏幕上，观察者既可在立体显示屏幕前看到场景的立体图像。当观察者站的位置发生变化时，双目视觉技术可以实时跟踪人眼位置的变化，同时考虑到立体显示屏幕较小的最佳观察视角，人眼位置改变时立体投影屏幕也随之作相应的旋转或移动，在这个过程中视差图像也变化，使人能连续观察到最佳的变化的立体图像。

要实时看到场景3D效果图，需要有3D视图源、3D显示屏幕，观察者的位置。基于这些需要，本方法建立一个系统，它由3D场景或物体的光场获取与重构系统、人眼空间位置获取系统、3D显示系统三个部分组成(如图1所示)。

1.3D场景光场获取与重构系统：由3D场景/物体(1)、CCD摄像机阵列(2)、一台装有多通道图像采集卡和I/O卡的计算机(3)等组成。为获得实际场景图像，可以通过CCD摄像机阵列对场景进行拍照，也可由一个CCD摄像机按设计好的路径移动进行拍摄。除了通过对实际场景，光场的获取还可以采用计算机计算的方法：由电脑3D软件等绘制渲染的2D图像阵列(11)；当给定观察视点坐标后，由以上获得的2D图像阵列，通过插值、变形等算法，产生一幅该视点的视图。

2.人眼空间位置获取系统：由两台CCD摄像机(5)及一台可双通道图像采集的DSP嵌入式处理器(4)组成。嵌入式处理器(4)通过视频接口与CCD(5)连接，通过串口通信与计算机(3)连接。嵌入式处理器(4)根据预设的环境参数、标定的摄像机参数和摄像机采集的含有观察者(10)双眼的图像，求出双眼的空间位置坐标，然后通过串口通信送给计算机(3)。