[发明专利]用于扩增现实的辐射转移取样的设备和方法

说明书

本发明呈现用于扩增现实的辐射转移取样的方法、系统、计算机可读媒体和设备。在一些实施例中，一种方法包含：接收环境的至少一个视频帧。所述方法进一步包含：产生所述环境的表面重建。所述方法另外包含：在所述环境的表面重建内投射多个光线。在所述环境的所述表面重建内投射多个光线后，所述方法包含：从所述至少一个视频帧产生所述环境的照明数据。所述方法还包含：基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的光线的子集。所述方法进一步包含：基于不包含所述光线子集的所述多个光线在所述视频帧上渲染所述虚拟对象。

背景技术

本发明的方面涉及扩增现实。更确切地说，本发明的方面涉及扩增现实的辐射转移取样。

组合虚拟和现实场景的光现实渲染为例如游戏或广告等许多扩增现实(AR)应用的基本目标。当前解决方案利用现有软件开发套组来获得场景模型，其具有实时更新和用于俘获图像的相机的3-D跟踪。以基于全局光照的光现实AR图像为目标的解决方案通常将计算视图中每一表面点的辐射转移(RT)。RT用于对直接来自场景模型的环境照明信息取样。RT信息连同环境照明和场景模型用于产生现实场景中的虚拟对象的现实渲染图。所产生的图像具有环境、虚拟对象与现实对象之间的光交互的感知上似乎合理的近似。

然而，计算动态地改变的场景的RT(表示为体元体积)需要体积光线跟踪。对于每一帧中的场景模型的所有可见表面点应用此程序在计算上较昂贵。即使利用较快处理器，也很可能必需求助于有规律的子取样来获得可接受交互速度。简单子取样的使用引入不合需要的混叠假影且并非最佳解决方案。

发明内容

某些实施例描述一种用于扩增现实的改进的辐射转移取样的设备和方法。

本文中所揭示的系统和方法允许通过应用自适应取样、滤波和重建方法通过采用可见性信号的4-D空间以及时间相干性而实现扩增现实的改进的辐射转移取样。这些用于RT计算的方法增加效率且提供较高质量结果。其还允许对计算费用与图像质量之间的折衷的更多控制，这在移动装置中很重要。

在一些实施例中，一种方法包含接收环境的至少一个视频帧。所述方法进一步包含产生环境的表面重建。所述方法另外包含在环境的表面重建内投射多个光线。在环境的表面重建内投射多个光线后，所述方法包含从所述至少一个视频帧产生环境的照明数据。所述方法还包含基于环境内需要优化的区域确定来自环境中的所述多个光线的光线的子集。所述方法进一步包含基于不包含所述光线子集的所述多个光线渲染所述至少一个视频帧上的虚拟对象。

在一些实施例中，所述环境内需要优化的所述区域包含阴影区域、表面边缘和阴影边缘。

在一些实施例中，所述方法进一步包含基于表面重建和照明数据产生所述至少一个视频帧中所述环境的所估计现实世界光照数据。

在一些实施例中，所述确定来自所述多个光线的光线的子集包括将光照和差分渲染技术应用于所述环境以及作为其结果而分析阴影信息。

在一些实施例中，所述确定来自所述多个光线的光线的子集包括基于包括所述多个光线的光线空间的4-D细分和近似方差分析中的至少一者应用自适应取样技术。

在一些实施例中，所述方法进一步包含将与光线子集相关联的时间相干性信息存储在二层级阶层式高速缓冲存储器中，其中第一层级存储屏幕空间中的信息且第二层级存储对象空间中的信息。

在一些实施例中，产生照明数据包含将所述至少一个视频帧转换为强度分量和色彩分量，以及对强度分量去噪以提取照明数据。

在一些实施例中，使用所述至少一个视频帧、来自立体相机的图像或来自深度相机的深度图像中的至少一者执行产生环境的表面重建。