[发明专利]虚拟视点绘制方法

说明书

技术领域

本发明属于图像处理及立体成像领域，涉及一种基于深度的虚拟视点绘制方法。

背景技术

传统的平面视频以平面图像来描述三维场景，已不能满足人们对立体感的要求。与传统的平面视频相比立体视频具有更直观的视觉表达效果，它可以使人们感受到真切的深度感和沉浸感。虚拟视点绘制技术指通过两个或多个摄像机视点所得到的同一场景的视频图像，生成其他各个摄像机视点该场景视频图像的过程，是实现自由立体电视和自由视点电视等立体视频应用的关键技术之一。

虚拟视点绘制技术主要包括基于模型的绘制(Model Based Rendering，MBR)和基于图像的绘制(Image Based Rendering，IBR)。传统的基于模型的绘制利用计算机图形学技术，对场景进行定义，从而建立三维场景模型，然后利用计算机实现场景模型的绘制、着色、光照以及投影等处理过程，最终生成给定视点的图像。因此，能否准确逼真地构建出场景的几何模型对最终成像效果产生决定性的影响。由于场景的复杂程度往往不易于控制，复杂场景下通过MBR成像效果并不是非常理想，无法满足用户不断发展的对图像真实感和沉浸感的需求。基于图像的绘制主要研究如何采用已知视点图像来直接生成虚拟视点下的对应图像，其绘制过程避免了复杂的几何建模与计算工作，因此具有快速、简单、逼真的优点，已成为当前最为活跃的研究方向。

不同的IBR技术可理解为全光函数(Plenoptic Function)在一定条件下的具体表现。全光函数将场景表示为在时刻τ，从三维空间坐标为(V_x，V_y，V_z)的视点出发，视角为采用波长为λ的光线进行采样的信息总和。由此可以将场景表示为一个7维函数，称为全光函数。IBR可描述为给定全光函数的样本集合，生成其连续表示的过程。基于这一描述，IBR过程可分解为全光函数的采样，重建和重采样三个过程。但在实际情况下，无法预先获得场景全光函数的全集，同时7维函数形式需要巨大的存储和计算量，因此研究者针对应用和简化展开了大量研究。根据采用场景几何信息的多少，可以将IBR技术分为三类：1)无几何信息的IBR方法；2)使用隐含几何信息的IBR方法；3)使用明确几何信息的IBR方法。

无几何信息的IBR方法基于场景的密集采样绘制三维场景，主要包括2维的全景图技术(Panoramas)，3维的同心拼图技术(Concentric Mosaics)，4维的光场技术(Light fields)和光线空间实现方法(Ray Space Representation)，5维的全光建模技术(Plenoptic Modeling)等绘制方法。

使用隐含几何信息的IBR方法只需要很少的输入图像，可以在一定误差条件下，以较小的代价来快速生成场景画面，同时所生成的图像质量很高。使用隐含几何信息的IBR方法主要包括视图变形技术(View Morphing)和视图插值技术(View Interpolation)等。视图变形技术利用几何投影原理从两个不同视点的图像重构出光心连线上的每一个新视点的图像。视图插值技术基于相邻图像之间的连贯性，利用图像各像素点的深度信息通过视觉基本原理来建立相邻采样点真实感图像之间像素的对应关系。

使用明确几何信息的IBR方法主要包括纹理映射(Text Mapping)、分层深度图像技术(Layered Depth Image，LDI)和基于深度图像的3D图像变形技术(3D Image Warping)等。纹理映射的实质是将图像重映射到3D场景的表面上，用纹理来显示复杂模型的表面细节。分层深度图像技术采用按照深度信息对图像分层的方法，所利用的几何信息是一些分层面上的深度信息。基于深度图像的绘制(Depth Image Based Rendering，DIBR)由于将场景的深度信息引入到IBR中，利用源图像及其对应的深度图像通过三维图像映射来生成虚拟视点视图，从而大大减少了参考图像的数目，节省了存储空间和传输带宽。