[发明专利]一种单幅图像场景的虚实光照融合方法

说明书

技术领域

本发明涉及图像处理和增强现实技术，具体地说是一种单幅图像场景的虚实光照融合方法。

背景技术

虚拟现实技术将真实世界的多维信息映射到可计算的数字空间；也可以将计算机生成的虚拟场景和虚拟作用反馈到真实世界中。但是，传统的虚拟环境强调虚拟场景建模和虚拟场景表现，较少将虚拟环境直接融入到客观存在的真实世界，这在一定程度上影响了虚拟现实技术的发展和应用。增强现实是虚拟现实的进一步拓展，它借助必要的设备使计算机生成的虚拟对象与客观存在的真实环境共存于同一个增强现实系统中，从感官和体验效果上给用户呈现出虚拟对象与真实环境融为一体的增强现实环境，增强现实具有虚实融合、实时交互、三维注册的基本特点。

在基于视频素材的虚实融合场景生成过程中，对场景的光照估计以及虚实光照融合处理是构建增强现实场景的主要组成部分，是影响虚实融合场景逼真性和准确性的最重要因素之一，也是增强现实技术必须面临、急需解决的基础问题和难点问题。为了使计算机生成的虚拟物体具有真实感，需要保持虚拟物体与真实物体间的几何和光照一致性。其中光照一致性是指，根据真实环境中的光照分布和需要注册的虚拟物体的表面材质，计算虚拟物体表面的光照效果，以及由此产生的虚实阴影效果。为了保持虚拟物体与真实物体之间的光照一致性，在现有的增强现实系统中，大多只利用了底层视觉信息，采用人工标志物、经过提前训练的平面和场景中的点、线、面等底层视觉特征完成三维注册，利用光球、鱼眼摄像机等光学采集设备采集真实场景光照信息，完成虚拟物体表面光照效果和虚实阴影效果的计算。但是这种依靠设备采集的方法对用户的专业知识要求较高，对标识物的设置及操作极为不便；并且设置标识物的方法破坏了原有的真实场景，影响了场景的真实感。而场景理解利用先验知识、统计建模和推理的方法，推理出全局的、中高层的场景信息，可以避免设置光照信息采集设备和减少复杂预操作。因此基于场景理解的光照估计方法可以从全局的角度，在更高的层次上推理场景的几何、明暗、阴影、材质、光源以及主要对象类别属性，在此基础上完成虚实光照融合。

近年来，一些单幅图像场景的虚实光照融合方法都力求从场景素材本身推理出其中蕴含的光照信息，并建立光照模型，从而不借助任何光照信息采集设备，完成虚实光照融合。2006年，丹麦奥尔堡大学的Tommy Jensen等人，提出了一种无标识物的增强现实虚实光照融合方法，该方法基于户外场景，利用真实物体的表面图像获取真实环境的光照信息，针对虚拟物体与真实光照条件的不一致现象，给出了虚拟物体表面光照效果的修正方法，能够使虚拟物体的光照效果接近真实环境的光照条件，完成虚实光照融合。但该方法只能处理单个真实场景光源，如太阳，且需要已知场景的粗略三维模型和高动态范围环境图。

2009年，美国卡耐基梅隆大学的Jean Francois Lalonde等人，提出了一种针对单幅户外图像场景的虚实光照融合方法。将户外图像场景中的天空、地面以及垂直表面作为线索估计出太阳所在位置的概率分布，并生成天空模型来照明场景中的虚拟三维物体。该方法利用了6000000张网络摄像头拍摄的时间序列图像作为训练数据集，无需依靠采集设备采集环境光照信息，能够生成较好的虚实阴影一致效果，但在场景中线索较弱的情况下，此方法受到了局限。

2009年，德国埃尔福特大学的Konrad等人提出了一种基于图像集的虚实光照融合方法。该方法对一个室内场景从各个不同角度拍摄大量照片，通过这一系列照片来构建场景的“合成环境图”。每一张图像代表了空间的一个平面，来模拟光球的采光效果，从中推算出场景光照信息。并通过图片集来构成场景的三维模型，照亮虚拟三维物体。但是该方法只适用于室内场景，并且在渲染过程中没有考虑阴影效果的生成。

另外，2009年，浙江大学的刘艳丽等人还提出了一种针对静态户外场景的虚实光照融合方法，该方法的最大优势在于无需预知场景的几何、材质及纹理信息。对一个静态户外场景，用固定视角的相机经过长时间拍摄得到了涵盖场景不同光照情况的图像数据集。通过学习的方法从中得到分别依靠太阳光和天空光产生的阴影效果作为基图像来反映场景的几何属性及材质属性进行光照估计，并完成虚实光照融合，但是该方法只能处理静态固定视角的视频。