[发明专利]用户的三维表示的生成

权利要求书

1.一种方便构造用户的头部的计算机实现的三维表示的方法，所述方法包括：

从相机接收所述用户的头部的多个RGB帧，所述多个RGB帧是由所述相机在一时间范围内捕捉到的；

从深度传感器接收多个深度帧，所述深度帧指示所述用户的头部的各个部分离所述深度传感器的距离，所述深度帧是由所述深度传感器在所述时间范围内生成的，其中所述用户的头部相对于所述相机和所述深度传感器的定向在所述时间范围内变化；

标识所述多个RGB帧中的所述用户的头部的至少一个特征，所述至少一个特征是以下各项之一：所述用户的眼睛的中心、所述用户的鼻子的中心、所述用户的第一鼻翼或所述用户的第二鼻翼；

至少部分地基于所述多个RGB帧中所标识的所述用户的头部的至少一个特征来使所述多个深度帧中的各个深度帧彼此对齐；

至少部分地基于所述多个深度帧彼此对齐以及对所述RGB帧中的所述用户的头部的至少一个特征的标识来生成三维点云；

基于所述三维点云来生成所述用户的头部的三维网格；以及

至少部分地基于所述多个RGB帧来纹理化所述三维网格。

2.如权利要求1所述的方法，其特征在于，所述RGB帧的分辨率在长度上小于1280个像素，且在高度上小于960个像素。

3.如权利要求1所述的方法，其特征在于，所述深度帧的分辨率小于1280个像素长度乘960个像素高度。

4.如权利要求1所述的方法，其特征在于，所述多个RGB帧以及所述多个深度帧在所述用户的头部旋转时被捕捉到。

5.如权利要求1所述的方法，其特征在于，进一步包括：

响应于接收到来自所述多个RGB帧的至少一个RGB帧以及来自所述多个深度帧的至少一个深度帧，估计所述用户的头部的三维姿势；以及

至少部分地基于对所述用户的头部的三维姿势的估计来向所述用户输出指令。

6.如权利要求1所述的方法，其特征在于，还包括在纹理化所述三维网格后自动地动画化所述用户的三维模型。

7.如权利要求1所述的方法，其特征在于，进一步包括：

在接收到来自所述深度传感器的所述多个深度帧后，选择PCA基础模型；以及

至少部分地基于来自所述深度传感器的所述多个深度帧以及对所述RGB帧中的所述用户的头部的至少一个特征的标识来使得所述PCA基础模型变形。

8.一种用于生成用户的三维表示的系统，包括：

处理器；以及

包括能由所述处理器执行的多个组件的存储器，所述多个组件包括：

接收以下各项的接收器组件：

由RGB相机在一时间范围内捕捉到的多个RGB帧，所述多个RGB帧中的每一个RGB帧都包括用户的头部的图像；以及

由深度传感器在所述时间范围内捕捉到的多个深度帧，所述多个深度帧中的每一个深度帧都包括用户的头部的深度图，其中所述用户的头部相对于所述RGB相机和所述深度传感器的定向在所述时间范围内变化；以及

模型生成器组件，所述模型生成器组件：

标识所述多个RGB帧中的所述用户的脸部特征；

至少部分地基于所述多个RGB帧中所标识的所述用户的脸部特征来使所述多个深度帧中的各个深度帧彼此对齐；以及

至少部分地基于彼此对齐的所述深度帧来生成所述用户的头部的动画化的三维模型。

9.如权利要求8所述的系统，其特征在于，所述系统包括游戏控制台。