[发明专利]用户的三维表示的生成

说明书

本文描述了涉及生成用户头部/脸部的相对准确的虚拟三维模型的技术。从深度传感器接收深度帧并且从相机接收彩色帧，其中这些帧捕捉用户的头部。基于深度帧和彩色帧，生成用户头部的三维模型。

背景

相对新近地，人们已经利用数字化身来在计算机环境中表示他们自己。数字化身的创建通常通过利用在线特征库来完成，其中用户能够从多个不同特征中进行选择以生成一般表示该用户的化身。例如，与生成用户的虚拟表示相关地，用户可以选择特定头形、特定肤色、预定义形状的眉毛等。该过程是相对耗时的，并且经常导致创建不表示个体的实际外貌的化身。

已经开发出用于自动生成用户的虚拟化三维表示的系统。然而，这些系统是不准确、复杂和/或昂贵的。例如，已经开发出使用红-蓝-绿(RGB)视频流来生成用户脸部的虚拟三维模型的系统。用户被要求在相机前旋转他或她的头部，并且基于视频来生成该用户脸部的虚拟三维模型。然而，这一系统遭受相对糟糕的质量，因为它无法捕捉到在人脸中找到的有细微差别的深度。

另一示例性系统利用若干激光测量单元来获取用于生成用户脸部的虚拟三维表示的相对密集的点云。然而，激光测量单元是相对昂贵的。因此，这一系统不适用于普通消费者。此外，这一系统不容易被运输到另一位置，并且缺乏允许将所得点云变换成可动画化的化身的底层技术。

概述

以下是在本文详细描述的主题的简要的概述。本概述不旨在是关于权利要求的范围的限制。

本文描述了涉及利用日用RGB相机和深度传感器来以半自治方式生成用户头部/脸部的相对准确的虚拟三维模型的各种技术。在一示例性实施例中，这一三维模型可被用作一个人的虚拟化表示，该虚拟化表示可以在在线/游戏环境中标识这个人。该三维模型能够相对准确地表示用户头部的形状、用户头部的大小、用户的肤色以及用户的脸部特征，包括眼睛、鼻子、耳朵、脸颊线、嘴巴等。

为了生成用户头部/脸部的相对准确的模型，在一时间范围内从彩色相机接收多个RGB帧，并且在该时间范围内从深度传感器接收多个深度帧。相机和深度传感器两者都被配置成捕捉用户头部/脸部的图像。对RGB帧执行脸部跟踪算法以标识在这些RGB帧中捕捉到的脸部中的特征。这些特征可包括但不限于：用户眼睛的中心、用户鼻子的中心和用户的鼻翼。可基于深度帧和RGB帧中标识的特征来生成点云，其中RGB帧中的特征被映射到深度帧以定位这些特征在三维空间中的位置，并且这些特征后续被用来对齐深度帧。点云中的点表示用户头部/脸部在这些点处的离深度传感器的相应距离。

随后，可使人类头部形状的预先存在的模型变形以适合三维点云(用脸部特征标记)以表示用户头部/脸部的形状。可以对这一三维模型应用纹理以使该虚拟三维模型准确地表示用户。可以对RGB帧应用降噪和皮肤估计技术，以便为用户的头部/脸部的虚拟三维模型提供审美上令人愉快的纹理。例如，可以利用针对RGB帧的诸如自动曝光调整和自动降噪等技术来纹理化(texturize)用户的头部/脸部的三维模型。从RGB帧中生成的纹理图然后可被映射到三维模型，以使得脸部和颜色特征在三维模型上适当地对齐。

可利用日用传感器单元来采用上述技术。例如，这一传感器单元可以是可以耦合到诸如游戏控制台等计算设备的外围设备。在另一示例中，传感器单元可被包括在诸如台式计算设备、平板计算设备或便携式电话等计算设备中。因此，例如相机和/或深度传感器的分辨率可能相对较低。然而，利用本文描述的技术，能够生成用户头部/脸部的相对准确的虚拟三维表示。

在阅读并理解了附图和描述后，可以明白其他方面。

附图简述

图1是方便生成用户头部/脸部的相对准确的虚拟三维模型的示例性系统的功能框图。

图2是用于生成用户头部/脸部的相对准确的虚拟三维模型的模型生成器组件的功能框图。

图3是示出用于构造用户头部/脸部的虚拟三维网格的示例性方法的流程图。