[发明专利]一种场景光照分布估计方法

说明书

本申请公开了一种光照分布估计方法，主要应用在虚拟现实和增强现实领域中。该方法通过构建立方体贴图，基于设备朝向矩阵和摄像机投影矩阵将摄像头拍摄的图像投影到立方体贴图上，然后，在立方体贴图构成的空间内部构造镜面球体，使用镜面球映射投影，得到场景环境图，然后，基于神经网络，确定高动态范围的环境图。通过本方法得到的环境图，能够获得具有高真实感的光照效果，提升光照分布估计的质量。

技术领域

本申请涉及虚拟现实和增强现实技术领域，尤其涉及一种面向移动设备的场景光照分布估计方法。

背景技术

近年来，随着硬件设备和算法上的快速发展，虚拟现实(VR，Virtual Reality)、增强现实(AR，Augmented Reality)以及混合现实(MR，Mixed Reality)技术在教育培训、军事、医疗、娱乐和生产制造等行业中被广泛应用。其中，高度真实感的虚实融合是相关应用的核心需求。因此，将虚拟物体的光源和光照模型与真实场景保持一致，才能获得具有真实感的渲染效果。而传统的场景光照估计方法由于在不同的手机上的相机参数不一致，以及仅使用单张的图像作为输入，因此，在实际应用中，在不同的手机上渲染的效果不一致，并且对于连续的场景输入会产生抖动，渲染效果较差。

发明内容

本发明的目的在于提供一种场景光照分布的估计方法，能够提升场景光照估计的准确度，使得在真实场景中叠加虚拟物体时，虚拟物体能够具有与环境更加一致的光照信息，提升虚拟物体的显示效果，提高用户体验。

上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。

第一方面，提供了一种光照估计方法，包括以下步骤：获取第一图像；确定与所述第一图像对应的设备朝向矩阵和摄像头投影矩阵；根据所述设备朝向矩阵和所述摄像头投影矩阵，将所述第一图像投影到空间立方体贴图上；根据所述设备朝向矩阵和所述空间立方体贴图，使用镜面球映射投影，得到场景环境图；根据所述第一图像和所述场景环境图，确定高动态范围的环境图。

第一方面所描述的技术方案，能够结合立方体贴图和镜面球映射的方式，获得真实场景中的光照信息；在获得的高动态范围的环境图中，通过光照估计，补充了未观察到的像素点的光照信息，提高了光照估计的效果。

根据第一方面，在一种可能的实现方式中，通过惯性测量单元获得设备朝向矩阵。

根据第一方面，在一种可能的实现方式中，所述确定与所述第一图像对应的设备朝向矩阵，进一步包括：确定获取第一图像的第一时刻；将在所述第一时刻之前，距离所述第一时刻最近的一次惯性测量单元数据作为所述第一图像对应的设备朝向矩阵。

根据第一方面，在一种可能的实现方式中，所述根据所述设备朝向矩阵和所述摄像头投影矩阵将所述第一图像投影到空间立方体贴图上，进一步包括：通过所述摄像头投影矩阵的逆矩阵，将第一像素的第一坐标变换至第一方向向量；其中，所述第一像素为所述第一图像中的像素；通过所述设备朝向矩阵的逆矩阵，将所述第一方向向量变换成第二坐标。

根据第一方面，在一种可能的实现方式中，所述根据所述设备朝向矩阵和所述空间立方体贴图，使用镜面球映射投影，得到场景环境图，进一步包括：在所述立方体贴图构成的立方体环境内渲染第一镜面球体；根据所述设备朝向矩阵确定所述第一镜面球体的球面上的第二像素反射的环境方向；根据所述环境方向，在所述立方体贴图上获取对应的像素的颜色或亮度；将所述颜色或亮度填充到所述第二像素中。

根据第一方面，在一种可能的实现方式中，所述根据所述第一图像和所述场景环境图，确定高动态范围的环境图，进一步包括：使用深度卷积神经网络，确定所述高动态范围的环境图。