[发明专利]一种场景光照分布估计方法

权利要求书

1.一种光照估计方法，其特征在于，包括以下步骤：

获取第一图像；

确定与所述第一图像对应的设备朝向矩阵和摄像头投影矩阵；

根据所述设备朝向矩阵和所述摄像头投影矩阵，将所述第一图像投影到空间立方体贴图上；

根据所述设备朝向矩阵和所述空间立方体贴图，使用镜面球映射投影，得到场景环境图；

根据所述第一图像和所述场景环境图，确定高动态范围的环境图。

2.如权利要求1所述的方法，其特征在于，通过惯性测量单元获得设备朝向矩阵。

3.如权利要求1或2所述的方法，其特征在于，所述确定与所述第一图像对应的设备朝向矩阵，进一步包括：

确定获取第一图像的第一时刻；

将在所述第一时刻之前，距离所述第一时刻最近的一次惯性测量单元数据作为所述第一图像对应的设备朝向矩阵。

4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述设备朝向矩阵和所述摄像头投影矩阵将所述第一图像投影到空间立方体贴图上，进一步包括：

通过所述摄像头投影矩阵的逆矩阵，将第一像素的第一坐标变换至第一方向向量；其中，所述第一像素为所述第一图像中的像素；

通过所述设备朝向矩阵的逆矩阵，将所述第一方向向量变换成第二坐标。

5.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述设备朝向矩阵和所述空间立方体贴图，使用镜面球映射投影，得到场景环境图，进一步包括：

在所述立方体贴图构成的立方体环境内渲染第一镜面球体；

根据所述设备朝向矩阵确定所述第一镜面球体的球面上的第二像素反射的环境方向；

根据所述环境方向，在所述立方体贴图上获取对应的像素的颜色或亮度；

将所述颜色或亮度填充到所述第二像素中。

6.如权利要求1-5任一项所述的方法，其特征在于，所述根据所述第一图像和所述场景环境图，确定高动态范围的环境图，进一步包括：

使用深度卷积神经网络，确定所述高动态范围的环境图。

7.如权利要求6所述的方法，其特征在于，所述深度卷积神经网络包括图像特征提取网络、已观察到的环境图特征提取网络、特征融合及光照生成网络，其中，

所述图像特征提取网络用于从所述第一图像中提取第一特征向量；

所述已观察到的环境图特征提取网络用于从所述场景环境图中提取第二特征向量；

所述特征融合及光照生成网络用于根据所述第一特征向量和所述第二特征向量，生成所述高动态范围的环境图。

8.如权利要求7所述的方法，其特征在于，所述从所述场景环境图中提取第二特征向量，进一步包括：

标记所述场景环境图中观察到的像素点和未观察到的像素点；

根据所述观察到的像素点，确定所述第二特征向量。

9.如权利要求7或8所述的方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量，生成所述高动态范围的环境图，进一步包括：

将所述第一特征向量和所述第二特征向量进行拼接，生成第三特征向量；

根据所述第三特征向量，生成所述高动态范围的环境图。

10.如权利要求1-9任一项所述的方法，其特征在于，所述方法还包括，

根据所述高动态范围的环境图，对虚拟物体进行渲染；

将渲染后的所述虚拟物体融合到所述第一图像中。

11.一种电子设备，包括，

一个或多个处理器；

存储器；以及

一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括指令，所述指令使得所述电子设备执行如权利要求1-10任一所述的方法。

12.一种计算机可读介质，用于存储一个或多个程序，其中所述一个或多个程序被配置为被所述一个或多个处理器执行，所述一个或多个程序包括指令，所述指令使得电子设备执行如权利要求1-10任一所述的方法。