[发明专利]一种基于TOF深度相机的面部表情捕捉方法

权利要求书

1.一种基于TOF深度相机的面部表情捕捉方法，其特征在于，包括：

第一步，使用TOF深度相机对真实人物进行面部表情捕捉；

第二步，处理捕捉的面部表情数据，并生成面部表情捕捉文件；

第三步，构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。

2.如权利要求1所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：在第一步中采用AAM算法标定真实人物的面部特征点，使头部姿态各异的情况下我们也能够对面部特征点进行精确的定位，从而对真实人物进行面部表情捕捉。

3.如权利要求1或2所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：所述第一步进一步具体包括，

a、利用TOF深度相机获取人脸彩色图像和深度图像；

b、建立头部姿态判断模型；

c、训练并建立AAM算法的模型；

d、利用AAM算法定位面部特征点；

e、获取面部特征点的三维坐标。

4.如权利要求1至3所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：第a步具体为利用TOF深度相机获取三维人脸的彩色数据流与深度数据流，并将彩色数据流转换成彩色图像，将深度数据流转换成深度图像。

5.如权利要求1至4所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：第b步具体为利用TOF深度相机获取不同的头部姿态相对应的深度图像，然后按照头部姿态的位置将获取到的深度图像分为多个不同的分类训练集，使用脸部近视平面的法向量来表示不同的头部姿态，从而建立头部姿态判断模型。

6.如权利要求1至5所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：所述第c步所采用的AAM算法把模型分为形状模型和纹理模型两个部分，AAM算法是在ASM算法的基础上(即将人脸图像变形到平均形状)对图像进行纹理分析来定位其特征点。

7.如权利要求1至6所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：所述第d步进一步具体为输入新的图像，使用步骤b建立的随机回归森林模型，对给出的新的深度图像判断其中的头部位置，并且给出一组头部姿态的估计值，计算出给出的深度图像的头部中心的位置和头部姿态信息，然后选择与之最匹配的AAM模型，头部姿态估计信息获得头部中心位置和头部姿态，由此来计算头部模型的旋转和平移，利用头部旋转角度计算旋转矩阵R，使用头部中心位置作为平移矩阵，利用R和T对得到的3D面部特征点进行旋转和平移，之后再利用相机内参将变换后的点投影到RGB图像平面，得到RGB图像上的特征点集，以此作为AAM模型实例的形状初始值。

8.如权利要求1至7所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：所述第e步进一步具体为确定面部特征点的位置后，计算并获取人脸面部特征点的坐标信息，TOF深度相机的坐标系是以其自身为坐标原点，正前方为Z轴方向，向左为X轴的正方向，向上为Y轴的正方向，TOF深度相机能获取到深度图像，最终获得整个三维人脸。