[发明专利]基于单个视频摄像机的实时人脸动画方法

摘要

本发明公开了一种基于单个视频摄像机的实时人脸动画方法，该方法利用单个视频摄像机，实时跟踪人脸特征点的三维位置，并以此参数化人脸的姿势和表情，最终可以将这些参数映射到替身上以驱动动画角色的脸部动画。本发明不需要高级的采集设备，只需要用户的普通视频摄像机上就可以达到实时的速度；本发明可以准确处理人脸各种大角度旋转、平移，和人脸的各种夸张表情；本发明还可以在不同光照和背景环境下工作，包括室内和有阳光的室外。

主权项

一种基于单个视频摄像机的实时人脸动画方法，其特征在于，包括以下步骤：（1）图像采集和标定：利用视频摄像机拍摄用户的多幅具有不同姿势和表情的二维图像，对每个图像利用二维图像回归器得到对应的二维人脸特征点，对自动检测得到的不准确特征点进行手动调整；（2）数据预处理：利用标定好二维人脸特征点的图像，进行用户表情融合模型生成和摄像机内部参数标定，并由此得到图像的三维特征点；利用三维特征点和步骤1采集的二维图像，训练获得从二维图像到三维特征点的回归器；（3）三维特征点跟踪：用户使用视频摄像机实时输入图像，对于输入的图像，结合上一帧的三维人脸特征点，利用步骤2中得到回归器，实时定位当前帧中三维人脸特征点；（4）姿势表情参数化：利用三维人脸特征点位置，结合步骤2中得到的用户表情融合模型，迭代优化以得到人脸姿势和表情的参数化表达；（5）替身驱动：将人脸姿势和表情参数映射到虚拟替身上，用以驱动动画角色进行人脸动画。