[发明专利]一种姿态鲁棒的视频笑脸识别方法

说明书

本发明公开了一种姿态鲁棒的视频笑脸识别方法，包括以下步骤：提取视频图像中的图像帧，通过人脸检测算法对其中的人脸进行检测；对定位到的人脸矩形框执行人脸表情关键点定位算法，对人脸表情特征点进行定位；提取定位到的人脸表情特征点的位置信息；将提取到的人脸表情特征点与在线训练的微笑表情特征点模板参数进行匹配；当后续图像帧读取后，在该微笑状态位置的附近区域进行小范围的微笑表情参数匹配；将当前图像帧的微笑识别结果以连续参数变量进行输出。本发明可对表情细节的变化过程进行精确的跟踪，本方法对光照鲁棒，实现在自然光照下的实时应用，可适应各种人脸视频，在表情识别、人机交互、影视特效等领域具有广泛的应用前景。

技术领域

本发明涉及人机交互及视频图像模式识别领域，尤其涉及一种姿态鲁棒的视频笑脸识别方法。

背景技术

随着智能交互终端技术的应用，在自然的光照、背景的场景中，对人脸的笑脸表情进行识别成为目前的一个研究热点。基于计算机视觉的自然表情识别在人机交互、互动影视以及游戏娱乐中有较为广泛的应用。

通过对自然场景的图像进行实时采集，并通过模式识别方法，对视频图像中的人脸微笑表情进行识别，以微笑表情作为控制输入，可以提升智能交互拍照的乐趣。

随着计算机交互控制技术的发展，将智能交互技术应用到包括助残控制等应用领域逐渐引起研究者的重视，智能交互辅助技术可以部分替代残疾患者的运动功能。对于上肢残障者，由于上肢运动功能的缺失，无法通过常规的操控方式实现对终端系统的交互控制，尽管目前提出了基于肌电信号、基于语音识别等交互的残肢功能替代方法，但在操控的易用性、交互界面友好性、控制效率等方面仍然存在着诸多的不足,并且容易受到环境因素以及自身状态的影像。

基于计算机视觉的微笑表情人机交互技术通过对上肢残障者的脸部表情的跟踪以及自动识别，可以将识别的结果直接转为终端控制信号，实现对交互接口的控制。并且采用计算机视觉方法，在控制方式上具有自然的交互接口、普适的人机交互方法，并且识别过程不易受到患者自身状态因素影响，具有其它交互方式无可比拟的优越性。使用人脸自然表情的交互控制成为多模态人机交互技术领域的一个研究热点。

对从目前的研究应用来看，人脸对齐、人脸跟踪和表情细节识别已经在安全监控、人机交互、数字娱乐等领域获得了广泛的应用。从Kanade使用人脸的几何结构对人脸进行描述开始，表情识别的研究成为一个长期的热点和难点问题。但由于每个人脸在结构细节上存在较大差异，仅使用人脸的几何结构难以获得较高的检测率。基于Haar矩形特征及Adaboost级联分类器的人脸检测算法，在保持较高的检测准确率同时，提高了检测的速度，是第一个实用的实时正面人脸检测方法，也是目前主流的人脸检测方法。

在检测到人脸后，完成对人脸上的主要器官的关键点的定位是进行表情细节分析的重要步骤，从某种意义上讲，面部关键特征点Landmark的定位，亦即人脸图像像素之间高层语义的对齐，是人脸识别中最核心的问题之一。通过人脸对齐，可以在获得的人脸区域内对人脸的关键特征点进行精确的定位。在人脸特征点定位中目前提出了很多方法，其中由Cootes等提出的主动形状模型ASM和主动表观模型AAM是目前两种比较经典的算法。AAM不仅包含物体的形状信息，而且还包含目标物体的内部纹理信息，利用合成图像与目标图像的误差调整模型参数。采用纹理信息合成的分析技术后，AAM定位能力更加鲁棒，具有更高的准确性。在ASM和AAM算法的基础上，出现了他们的很多改进模型。包括直接外观模型，针对人脸多角度变化时采用的多视角AAM，纹理约束的ASM，实时的结合2D+3D的AAM算法等。Fadi Dornaika等将2D+3D的AAM算法扩展到多视角AAM，获得比单个视角更好的结果。张晓博等提出一种实时定位三维人脸特征点的算法实时地对齐三维人脸曲面上主要特征点的位置，并引入基于曲面划分、直方图统计的三维局部球划分直方图描述子，并使用该描述子逐点提取三维曲面顶点的局部曲面信息；其次计算其相似度，以定位三维人脸曲面上的主要特征点。