[发明专利]用于渲染增强现实场景的方法和装置

说明书

本申请实施例公开了用于渲染增强现实场景的方法和装置。该方法的一具体实施方式包括：获取包含目标场景的至少一个图像；将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数，其中，光源参数预测模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系；基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到目标场景后的增强现实场景进行渲染。该实施方式提高了虚拟对象与现实场景的融合度。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于渲染增强现实场景的方法和装置。

背景技术

增强现实(Augmented Reality，AR)技术主要是通过摄像头和传感器定位现实空间，将虚拟对象放置在三维空间中，之后对虚拟对象放置后的三维空间进行渲染的技术。现有的用于渲染AR场景中的光照效果的方法主要包括：通过自定义的光照信息对AR场景进行渲染；利用现实世界的光照图像，通过环境映射方式使虚拟对象更加真实。

发明内容

本申请实施例提出了用于渲染增强现实场景的方法和装置。

第一方面，本申请实施例提供了一种用于渲染增强现实场景的方法，包括：获取包含目标场景的至少一个图像；将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数，其中，光源参数预测模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系；基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到目标场景后的增强现实场景进行渲染。

在一些实施例中，光源参数预测模型包括光源类型识别模型和至少一个光源参数预测子模型，光源参数预测子模型与光源类型相对应，光源类型识别模型用于表征包含场景的至少一个图像与场景中光源的光源类型之间的对应关系，光源参数预测子模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系。

在一些实施例中，将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数，包括：将至少一个图像输入光源类型识别模型中，得到目标场景中光源的光源类型；将至少一个图像输入与所得到的光源类型相对应的光源参数预测子模型中，得到目标场景中光源的光源参数。

在一些实施例中，光源参数预测子模型是通过如下步骤训练得到的：获取第一训练样本集合，其中，第一训练样本包括至少一个第一样本图像和用于表征至少一个第一样本图像所包含的场景中光源的光源参数的标注信息，至少一个第一样本图像所包含的场景中光源的光源类型为预设光源类型；将第一训练样本集合中的第一训练样本中的至少一个第一样本图像作为输入，将与输入的至少一个第一样本图像对应的标注信息作为期望输出，训练得到预设光源类型对应的光源参数预测子模型。

在一些实施例中，至少一个第一样本图像是从样本视频中截取出的至少一个连续的画面帧，样本视频所包含的场景中光源的光源类型为预设光源类型。

在一些实施例中，光源类型包括以下至少一项：室内日光、室内灯光、室外日光、室外灯光。

在一些实施例中，光源参数预测模型是通过如下步骤训练得到的：获取第二训练样本集合，其中，第二训练样本包括至少一个第二样本图像和用于表征至少一个第二样本图像所包含的场景中光源的光源参数的标注信息；将第二训练样本集合中的第二训练样本中的至少一个第二样本图像作为输入，将与输入的至少一个第二样本图像对应的标注信息作为期望输出，训练得到光源参数预测模型。

第二方面，本申请实施例提供了一种用于渲染增强现实场景的装置，包括：获取单元，被配置成获取包含目标场景的至少一个图像；输入单元，被配置成将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数，其中，光源参数预测模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系；渲染单元，被配置成基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到目标场景后的增强现实场景进行渲染。