[发明专利]一种对人脸姿态和动作进行跟踪的方法

说明书

技术领域

本发明涉及图像处理与计算机视觉领域，特别是基于图像的人脸姿态和动作跟踪方法。

背景技术

对图像或视频中的人脸进行姿态和面部动作的估计与跟踪在人机交互、虚拟现实、智能监控、多姿态人脸识别和表情识别等领域具有重要的应用价值。比如，在基于视频的表情动画系统中，可以根据从视频中提取的真人头部姿态和面部动作来驱动一个虚拟人或卡通形象做相似的表情动作，在数字互动娱乐、动漫制作等行业具有广泛的应用价值。

根据跟踪算法所使用的信息不同，可以把人脸跟踪方法分为基于特征的方法(Feature Based)和基于外观的方法(Appearance Based)。基于特征的方法通常选择一些容易跟踪，且对光照、姿态、表情等比较鲁棒的图像特征，如颜色、边缘、角点或者一些有语义的点等。由于局部特征点匹配通常不需要训练数据，因而基于特征的方法通常对光照变化和人脸纹理变化比较鲁棒。然而，这类方法的一个缺点是跟踪结果不够精确，并且伴有抖动。基于外观的方法试图将整个人脸外观模型和输入图像进行匹配，从而实现人脸跟踪。基于外观的方法一般要求当前帧图像整个人脸纹理和重构图像相匹配。与基于特征的方法相比，基于外观的方法由于利用了整个人脸区域的纹理信息，通常能跟踪得更精确、稳定而且没有抖动。但这种方法对于初始形状位置比较敏感，容易陷入局部极小值。

在基于外观的方法中，典型的有基于三维形变模型的方法和二维和三维可变形人脸模型的主动外观模型的方法。由于二维和三维可变形人脸模型的主动外观模型算法相比于三维形变模型方法在拟合速度上具有很大的优势，因而是一种比较实用的方法。

二维和三维可变形人脸模型的主动外观模型(2D+3D AAM)算法本质上是一种添加了三维人脸网格模型约束的二维主动外观模型算法，因而其核心还是二维主动外观模型算法。为进一步提高二维主动外观模型算法的性能，人们从各个角度对二维主动外观模型算法进行了改进，针对主动外观模型纹理表达方面的改进是诸多改进方向中非常重要的一个方向之一。大家都认识到使用原始的灰度信息作为纹理表达，很难满足实际应用的需求。在实际应用中，我们能收集到的样本终归是有限的，不可能把所有的成像环境、人种、肤色、姿态、表情、年龄、图像质量等诸多可变因素涵盖进去。而且即便涵盖在里面，使用灰度特征训练出来的纹理模型的表达能力也是有限的。

主动外观模型(Active Appearance Model，AAM)拟合算法是基于梯度下降的迭代优化方法。提供一个较好的初始值是迭代优化方法成功的前提。在视频跟踪里，当用户运动的速度较快时，如果简单的使用上一帧图像迭代收敛后的结果作为当前帧图像中人脸形状的初始值，这时基于梯度下降的方法很容易陷入局部极小值，而非正确的全局最优值，导致跟踪中断或失败。针对这一问题，常见的处理方法是在跟踪的过程中融合粒子滤波算法。然而这类方法的一个很大的问题就是计算量太大，难以满足实时性要求。

发明内容

针对上述现有技术的问题，平衡各方面性能的需求，同时考虑到实际应用中对计算速度的要求，本发明的目的是对视频中自然运动的人脸，实现全自动、实时、鲁棒地进行人脸三维姿态和面部动作跟踪，为此，提供一种全自动的对人脸姿态和动作进行跟踪的方法。

为了实现上述目的，本发明对人脸姿态和动作进行跟踪的方法提出的技术方案步骤如下：

步骤S1：从视频流中提取出逐帧图像，对输入视频第一帧图像或跟踪失败时进行人脸检测，获取人脸包围框；

步骤S2：在上一帧图像迭代收敛后，正常跟踪时，对于上一帧图像中人脸区域一些纹理特征比较显著的特征点，在当前帧图像找到与之对应的这些特征点进行匹配，获得这些特征点的匹配结果；

步骤S3：根据人脸包围框或特征点匹配结果对主动外观模型的形状进行初始化，得到当前帧图像中的人脸形状初始值；

步骤S4：使用反转合成算法对主动外观模型进行拟合，获取人脸三维姿态和面部动作参数。

所述对人脸姿态和动作进行跟踪的方法，使用基于自适应提升的方法进行人脸检测，得到人脸在图像中的位置和大小。

所述特征点是先计算每个像素点海森矩阵行列式的值，然后选取海森矩阵行列式值相对较大的像素点作为特征点。

对所述上一帧图像和所述当前帧图像分别用多分辨率表示，用以提高特征点匹配速度。

所述特征点匹配是基于图像的多分辨率框架，再采用块匹配的方法在当前帧图像找到与上一帧图像中特征点相匹配的点。