[发明专利]一种对人脸姿态和动作进行跟踪的方法

权利要求书

1.一种对人脸姿态和动作进行跟踪的方法，包括步骤：

步骤S1：从视频流中提取出逐帧图像，对输入视频第一帧图像或跟踪失败时进行人脸检测，获取人脸包围框；

步骤S2：在上一帧图像迭代收敛后，正常跟踪时，对于上一帧图像中人脸区域一些纹理特征比较显著的特征点，在当前帧图像找到与之对应的这些特征点进行匹配，获得这些特征点的匹配结果；

步骤S3：根据人脸包围框或特征点匹配结果对主动外观模型的形状进行初始化，得到当前帧图像中的人脸形状初始值；

步骤S4：使用反转合成算法对主动外观模型进行拟合，获取人脸三维姿态和面部动作参数。

2.根据权利要求1所述对人脸姿态和动作进行跟踪的方法，其特征在于还包括步骤：使用基于自适应提升的方法进行人脸检测，得到人脸在图像中的位置和大小。

3.根据权利要求1所述对人脸姿态和动作进行跟踪的方法，其特征在于：所述特征点是先计算每个像素点海森矩阵行列式的值，然后选取海森矩阵行列式值相对较大的像素点作为特征点。

4.根据权利要求1所述对人脸姿态和动作进行跟踪的方法，其特征在于：对所述上一帧图像和所述当前帧图像分别用多分辨率表示，用以提高特征点匹配速度。

5.根据权利要求1所述对人脸姿态和动作进行跟踪的方法，其特征在于，所述特征点匹配是基于图像的多分辨率框架，再采用块匹配的方法在当前帧图像找到与上一帧图像中特征点相匹配的点。

6.根据权利要求1所述对人脸姿态和动作进行跟踪的方法，其特征在于：所述主动外观模型使用融合灰度和边缘信息的多波段纹理表达，用以提高主动外观模型算法对光照变化的适应能力以及对未见过人脸的泛化能力。

7.根据权利要求1所述对人脸姿态和动作进行跟踪的方法，其特征在于，所述基于特征点匹配结果对主动外观模型的形状进行初始化的处理步骤如下：

步骤S31：在上一帧图像中人脸定位基础上，选择特征点；

步骤S32：计算特征点在各自所在三角片内的重心坐标；

步骤S33：在当前帧图像进行特征点匹配；

步骤S34：根据匹配的特征点估计人脸形状。

8.根据权利要求1所述对人脸姿态和动作进行跟踪的方法，其特征在于：所述主动外观模型包括二维人脸形状模型、二维人脸纹理模型、三维可变形人脸模型以及成像模型；所述成像模型采用完全透视投影，以便获取准确的人脸姿态参数。