[发明专利]用户的三维表示的生成

摘要

本文描述了涉及生成用户头部/脸部的相对准确的虚拟三维模型的技术。从深度传感器接收深度帧并且从相机接收彩色帧，其中这些帧捕捉用户的头部。基于深度帧和彩色帧，生成用户头部的三维模型。

主权项

1.一种方便构造用户的头部的计算机实现的三维表示的方法，所述方法包括：从相机接收所述用户的头部的多个RGB帧，所述多个RGB帧是由所述相机在一时间范围内捕捉到的；从深度传感器接收多个深度帧，所述深度帧指示所述用户的头部的各个部分离所述深度传感器的距离，所述深度帧是由所述深度传感器在所述时间范围内生成的，其中所述用户的头部相对于所述相机和所述深度传感器的定向在所述时间范围内变化；标识所述多个RGB帧中的所述用户的头部的至少一个特征，所述至少一个特征是以下各项之一：所述用户的眼睛的中心、所述用户的鼻子的中心、所述用户的第一鼻翼或所述用户的第二鼻翼；至少部分地基于所述多个RGB帧中所标识的所述用户的头部的至少一个特征来使所述多个深度帧中的各个深度帧彼此对齐；至少部分地基于所述多个深度帧彼此对齐以及对所述RGB帧中的所述用户的头部的至少一个特征的标识来生成三维点云；基于所述三维点云来生成所述用户的头部的三维网格；以及至少部分地基于所述多个RGB帧来纹理化所述三维网格。