[发明专利]用于扩增现实的辐射转移取样的设备和方法

权利要求书

1.一种用于扩增现实的辐射转移取样的方法，其包括：

接收环境的至少一个视频帧；

产生所述环境的表面重建；

在所述环境的所述表面重建内投射多个光线；

从所述至少一个视频帧产生所述环境的照明数据；

确定来自所述环境中的所述多个光线的光线的子集，其中所述确定来自所述多个光线的光线的子集包括：(1)基于包括所述多个光线的光线空间的4-D细分应用自适应取样技术，其中所述自适应取样技术包括将加权掩码应用到所述环境的所述表面重建和检查所述加权掩码以确定应在何处计算较多样本，以及(2)将照明和差分渲染技术应用于所述环境以及作为其结果而分析阴影信息；

基于所述表面重建、所述照明数据和不包含所述光线子集的所述多个光线产生与所述至少一个视频帧相关联的所述环境的所估计现实世界光照数据；以及

使用所述所估计现实世界光照数据在所述至少一个视频帧上渲染虚拟对象。

2.根据权利要求1所述的方法，其中基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的所述光线子集，所述环境内需要优化的所述区域包括阴影区域、表面边缘和阴影边缘。

3.根据权利要求1所述的方法，其中所述自适应取样技术进一步包括在确定应在何处计算所述较多样本之后，再计算针对一个或多个表面点的球面谐波SH投射。

4.根据权利要求1所述的方法，其中所述应用自适应取样技术是基于近似方差分析。

5.根据权利要求1所述的方法，其进一步包括：将与所述光线子集相关联的时间相干性信息存储在二层级阶层式高速缓冲存储器中，其中第一层级存储屏幕空间中的信息且第二层级存储对象空间中的信息。

6.根据权利要求1所述的方法，其中产生所述照明数据包括：

将所述至少一个视频帧转换为强度分量和色彩分量；以及

对所述强度分量去噪以提取所述照明数据。

7.根据权利要求1所述的方法，其中使用所述至少一个视频帧执行产生所述环境的所述表面重建。

8.一种用于扩增现实的辐射转移取样的设备，其包括：

相机；

存储器；以及

处理器，其耦合所述存储器以接收由所述相机俘获的环境的至少一个视频帧，其中所述处理器经配置以：

产生所述环境的表面重建；

在所述环境的所述表面重建内投射多个光线；

从所述至少一个视频帧产生所述环境的照明数据；

确定来自所述环境中的所述多个光线的光线的子集，其中所述确定来自所述多个光线的光线的子集包括：(1)基于包括所述多个光线的光线空间的4-D细分应用自适应取样技术，其中所述自适应取样技术包括将加权掩码应用到所述环境的所述表面重建和检查所述加权掩码以确定应在何处计算较多样本，以及(2)将照明和差分渲染技术应用于所述环境以及作为其结果而分析阴影信息；

基于所述表面重建、所述照明数据和不包含所述光线子集的所述多个光线产生与所述至少一个视频帧相关联的所述环境的所估计现实世界光照数据；以及

使用所述所估计现实世界光照数据在所述至少一个视频帧上渲染虚拟对象。

9.根据权利要求8所述的设备，其中基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的所述光线子集，所述环境内需要优化的所述区域包括阴影区域、表面边缘和阴影边缘。

10.根据权利要求8所述的设备，其中所述自适应取样技术进一步包括在确定应在何处计算所述较多样本之后，再计算针对一个或多个表面点的球面谐波SH投射。

11.根据权利要求8所述的设备，其中所述应用自适应取样技术是基于近似方差分析。