[发明专利]由可穿戴设备进行面部模型捕获

权利要求书

1.一种用于生成用户的面部的三维(3D)模型的系统，所述系统包括：

头戴式显示器(HMD)，其被配置为向用户呈现虚拟内容；

面向内的成像系统，其中，所述面向内的成像系统被配置为在所述用户佩戴所述HMD时对所述用户的所述面部的至少一部分成像；

惯性测量单元(IMU)，其与所述HMD相关联并且被配置为检测所述HMD的运动；以及

硬件处理器，其被编程为：

检测触发以启动所述用户的面部的成像，其中，所述触发包括由所述IMU检测到的运动，涉及将所述HMD放在所述用户的头部上或者将所述HMD从所述用户的所述头部取下；

响应于检测到所述触发，激活所述面向内的成像系统以获取图像；

基于从所述IMU或所述面向内的成像系统中的至少一个获取的数据，检测用于停止所述成像的停止条件；

采用立体视觉算法分析由所述面向内的成像系统获取的所述图像；以及

至少部分地基于所述立体视觉算法的输出融合所述图像以生成所述用户的面部的面部模型。

2.根据权利要求1所述的系统，其中，为了检测所述触发，所述硬件处理器被编程为：

确定所述HMD的加速度；

比较所述HMD的所述加速度和阈值加速度；以及

响应于所述加速度超过所述阈值加速度的比较，检测所述触发。

3.根据权利要求1所述的系统，其中，当所述HMD与所述用户的所述头部之间的距离超过阈值距离时，检测到所述停止条件。

4.根据权利要求1所述的系统，其中，所述立体视觉算法包括以下中的至少一个：块匹配算法、半全局匹配算法、半全局块匹配算法、视差图、深度图或神经网络算法。

5.根据权利要求1所述的系统，其中，所述面向内的成像系统包括第一眼睛相机和第二眼睛相机，以及其中，所述第一眼睛相机和所述第二眼睛相机具有重叠的视野。

6.根据权利要求5所述的系统，其中，所述图像包括多对图像，其中每对图像包括由所述第一眼睛相机获取的第一图像和由所述第二眼睛相机获取的第二图像。

7.根据权利要求6所述的系统，其中，与所述立体视觉算法一起分析一对图像。

8.根据权利要求6所述的系统，其中，所述立体视觉算法的所述输出包括对所述多对图像中的像素的深度分配。

9.根据权利要求6所述的系统，其中，基于对由所述第一眼睛相机和所述第二眼睛相机获取的所述图像的所述分析，由多个点云表示所述用户的面部，以及其中，融合所述图像以生成面部模型，所述硬件处理器被编程为：

使多个云彼此适配；

拒绝所述多个云中的异常值；以及

通过聚类或平均中的至少一种来平滑所述面部模型的表面。

10.根据权利要求9所述的系统，其中，适配所述多个云，所述硬件处理器被编程为将迭代最近点算法应用于所述多个云。

11.根据权利要求1所述的系统，其中，所述硬件处理器进一步被编程为：

基于所述图像确定纹理图；以及

将所述纹理图应用于所述面部模型。

12.根据权利要求1所述的系统，其中，所述硬件处理器进一步被编程为将所述面部模型传递给可穿戴设备。

13.根据权利要求1所述的系统，其中，为了分析所述图像，所述硬件处理器被编程为至少：

使用关键点检测器和描述符算法识别所述图像中的关键点；或

从所述图像中识别面部特征并用3D空间中的点描述所识别的面部特征。

14.根据权利要求13所述的系统，其中，为了融合所述图像，所述硬件处理器被编程为使用光束平差法算法来组合所述关键点或所述面部特征。