[发明专利]利用深度外观模型渲染化身的系统和方法

说明书

被公开的计算机系统可以包括输入模块、自动编码器和渲染模块。输入模块可以接收对象的几何结构信息和图像。几何结构信息可以指示对象的几何结构随时间的变化。每个图像可以与相应的视点相关联，并且可以包括对象的视图相关纹理图。自动编码器可以联合编码纹理信息和几何结构信息以提供潜在向量。自动编码器可以使用该潜在向量来针对预测的视点推断对象的推断的几何结构和推断的视图相关纹理。渲染模块可以被配置为使用推断的几何结构和推断的视图相关纹理来针对预测的视点渲染对象的重建图像。还公开了各种其他系统和方法。

相关申请的交叉引用

本申请要求于2018年7月31日提交的第16/049,848号美国非临时申请和于2018年1月8日提交的第62/614,776号美国临时申请的权益，该非临时申请和临时申请的公开通过此引用以其整体并入。

背景

随着现代虚拟现实(VR)和增强现实(AR)头戴式装置(headset)的出现，需要改进的计算机图形模型以增强沉浸感。对于沉浸式社交体验来说，人脸可能特别具有挑战性，但却至关重要。例如，为了提供具有面对面互动的丰富度和深度的虚拟体验，参与者之间的社交信号的细微差别应该被准确地捕获和显示。然而，实现人脸的实时渲染已表明是一项艰巨的任务。例如，人脸可能包含可能难以建模的精细几何结构，如睫毛、毛孔和绒毛。这些因素和其他因素可能使得难以提供动态和社交互动场景的照片级真实感渲染。

概述

如下面将更详细描述的，本公开描述了利用深度外观模型来将人脸和其他对象渲染为用于VR/AR呈现的化身(avatar)。

在一个示例中，一种计算机系统可以包括输入模块、自动编码器和渲染模块。输入模块可以被配置为接收几何结构信息和多个图像。几何结构信息可以指示对象的几何结构在一时间段内的变化，并且该时间段可以包括多个时刻。接收到的多个图像可以是在多个时刻的每个时刻对象的多个图像，并且每个图像可以与对象的相应视点相关联。每个图像可以包括对象的视图相关纹理图(view-dependent texture map)，该视图相关纹理图取决于对象的相应视点。自动编码器可以被配置为联合编码纹理信息和几何结构信息以提供潜在向量(latent vector)。自动编码器还可以被配置为使用潜在向量来推断相对于预测的视点的对象的推断的几何结构以及相对于预测的视点的对象的推断的视图相关纹理。渲染模块可以被配置为使用推断的几何结构和推断的视图相关纹理来针对预测的视点渲染对象的重建图像。

在一些实施例中，对于多个时刻的每个时刻，自动编码器可以被配置为对与多个图像相关联的相应视图相关纹理图进行平均。自动编码器可以是条件自动编码器，并且自动编码器可以被配置为调节与每个图像相关联的至少一个变量。在一些实施例中，潜在向量可以不包含关于该至少一个变量的任何信息。另外，该至少一个变量可以包括与每个图像相关联的相应视点，并且潜在向量可以不包含任何视点信息。

在一些实施例中，潜在向量可以包括对象的面部表情的表示。在一些实施例中，几何结构信息可以包括在该时间段内跟踪的对象的三维网格。在一些实施例中，图像可以具有多个像素，每个像素可以具有相关联的颜色，并且计算机系统可以被配置为通过将光线投射穿过每个像素并将相交的纹理坐标分配给每个相应像素的颜色来展开视图特定纹理图。在一些实施例中，计算机系统可以被配置为实时推断该推断的几何结构和推断的视图相关纹理，并实时渲染对象的一系列动画化的重建图像。所渲染的一系列动画化的重建图像可以包括用于在虚拟现实(VR)或增强现实(AR)(VR/AR)头戴式装置上显示的VR或AR呈现。