[发明专利]一种绘制虚拟物体阴影的方法及设备

说明书

本申请涉及AR技术领域，提供一种绘制虚拟物体阴影的方法及设备，采用HDR全景图生成模型，得到真实场景的LDR图像对应的HDR全景图像，将KL散度作为损失函数，用HDR全景图像微调光照球谐特征模型，优化光照球谐特征模型原始的球面高斯强度分布，并节约了光照球谐特征模型的训练过程，省时省力；通过将优化的球面高斯强度分布中亮度值最大的点，确定为光源位置，并根据光源位置为叠加在LDR图像中显示的虚拟物体绘制阴影。由于HDR全景图像完整地记录了环境光照信息，包含环境光照的真实球面高斯强度分布，提高了光源位置确定的准确性，提升了虚拟物体阴影的绘制效果，进而提高了虚拟物体与真实场景的光照一致性，提升了用户的AR体验。

技术领域

本申请涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种绘制虚拟物体阴影的方法及设备。

背景技术

AR技术是在虚拟现实(Virtual Reality，VR)基础上发展起来的新技术，是通过计算机系统提供的信息增加用户对真实世界感知的技术，并将计算机系统生成的虚拟物体、虚拟场景、系统提示信息或关于真实物体的非几何信息等叠加到真实世界中，从而实现对真实世界的″增强″，已广泛应用在各行各业。

在AR体验中，用户对光照有微妙的感觉，通常将光照一致性作为虚实融合的重要指标，光照一致性是指让虚拟物体具有与真实物体相同的光照效果。光照一致性的目标是使虚拟物体的光照情况与真实场景中的光照情况一致，即虚拟物体与真实物体有着一致的明暗、阴影效果，以增强虚拟物体的真实感。

目前，相关技术为AR场景中的虚拟物体绘制阴影时，大多是采用深度神经网络，对摄像头采集的原始图像进行学习，输出环境贴图，并根据环境贴图确定光源位置，进而根据光源位置为虚拟物体绘制阴影效果。然而，由于AR设备的摄像头采集的原始图像一般为低动态范围(Low Dynamic Range，LDR)图像，包含的光照信息较少，导致光源位置估计的不够准确，进而降低了虚拟物体与真实场景的光照一致性，影响用户AR体验。

发明内容

本申请实施例提供了一种绘制虚拟物体阴影的方法及设备，用于提高虚拟物体与真实场景的光照一致性。

第一方面，本申请实施例提供一种绘制虚拟物体阴影的方法，应用于AR设备，包括：

获取所述AR设备的摄像头采集的任一真实场景的低动态范围LDR图像；

将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；

将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；

根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；

将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为叠加显示的虚拟物体绘制阴影。

第二方面，本申请实施例提供一种AR设备，包括处理器、存储器、摄像头和显示屏，所述显示屏、所述摄像头、所述存储器和所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

获取所述摄像头采集的任一真实场景的低动态范围LDR图像，并由所述显示屏进行显示；

将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；

将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；