[发明专利]一种基于人工智能的实时面部表情捕捉方法

说明书

本发明公开了一种基于人工智能的实时面部表情捕捉方法，包括以下步骤：S1：分别构建三维人脸数据库和人脸图像数据库；S2：针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的52个标准表情对应的Blendshapes。通过使用普通的web摄像头就可以捕捉面部表情，从而节约成本，不针对特定的用户，任意普通用户都可以识别，容易推广。算法速度快、帧率高，可以达到几百帧，可以移植到移动端。本发明的一种实时面部表情捕捉方法实时驱动动画模型，为影视动画和游戏制作节约了时间成本，并能做出更加细腻和生动的表情。还能对人脸进行无缝贴图，换脸操作，而且可以实时重建出本人的三维人脸模型。

技术领域

本发明涉及计算机视觉技术领域，具体为一种基于人工智能的实时面部表情捕捉方法。

背景技术

增强现实技术(AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。目前市场上已经有一些与面部AR相关的应用，比如AR头套、AR染发、AR口红、AR人脸贴纸等，以及一些带交互功能的app，如Face激萌、抖音、B612、美颜相机等。

国内存在的与面部动作相关的AR应用，在效果上存在如下缺陷：(1)国内市场上的表情迁移对姿态、面部动作的捕捉都不够精确，或者有的动作根本捕捉不到，并且不稳定，不流畅；(2)面部贴纸应用只对嘴部动作有跟踪，眼睛周围的动作并没有实时跟踪；(3)只能捕捉到一些基本的脸部表情动作，像张嘴，笑，并不能复制更多的面部动作，即面部动作捕捉存在局限性。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于人工智能的实时面部表情捕捉方法。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于人工智能的实时面部表情捕捉方法，包括以下步骤：

S1：分别构建三维人脸数据库和人脸图像数据库；

S2：针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的52个标准表情对应的Blendshapes；

S3：对所述三维人脸数据库进行重建，重构出三维人脸形状模型作为训练数据集；

S4：对所述训练数据集进行训练，得到一个模型回归器；

S5：使用摄像头采集实时视频，利用所述模型回归器，对摄像头采集到的视频序列中的图像计算得到相应的矢量参数，从而计算出所述视频序列中的图像的特征点；

S6：所述矢量参数进行归一化处理，使所述矢量参数满足条件约束；

S7：从面部图像特征点中提取与FACS表情单元相对应的几何特征，并将几何特征添加至几何特征样本集；

S8：对待识别的人脸图像进行关键点检测，筛选出关键点并进行归一化处理，得到归一化后的关键点；

S9：将归一化后的人脸关键点输入表情识别模型，预测出此时人脸表情的变化程度；

S10：最后将归一化后的所述矢量参数赋值给动画模型的Blendshapes来实时驱动动画显示，并替换当前的人脸图像。

在本发明实施例中，分别构建三维人脸数据库和人脸图像数据库，具体包括：

通过Kinect摄像机录制若干人数的人脸深度信息，并根据每个人标准的52个表情模型变形出每个人的人脸表情模型作为三维人脸数据库；