[发明专利]一种人脸眼角与嘴角定位与跟踪的方法及装置

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种人脸眼角与嘴角的定位与跟踪方法及装置。

背景技术

人脸特征点定位是人脸识别、表情识别等人脸处理技术的基础，脸部特征点定位的性能很大程度上影响着人脸检测方法的精度。在所有的脸部特征点中，双眼及嘴巴位置最为重要。对于一般的应用，这三个器官位置已经能够满足处理方法的需要，能够将不同形状、大小的人脸对齐归一化，并为进一步处理提供信息。此外，左/右眼及嘴巴角点这六点也可以作为其它脸部特征点定位方法的前提和基础。此外，在人机交互以及娱乐领域，对于已知双眼、嘴巴位置的输入人脸，可以对其进行纹理、颜色、形状等变换，产生各种有趣的图像效果。眼睛特征点容易受到包括姿态、光照、图像质量、头发眼镜遮档等因素的影响，而由人脸表情的变化引起的嘴巴张开与闭合也影响着嘴巴的外观。因此，准确快速的眼睛、嘴巴角点定位方法是一个困难且需要解决的问题。

申请人在之前已经提出了一系列与人脸检测技术相关的专利，包括“视频序列中人脸的实时检测与持续跟踪的方法及系统“，中国专利申请号为200510135668.8，以下简称文献1；“多姿态人脸检测与追踪系统及方法“，中国专利申请号为200610113423.X，以下简称文献2；“一种人脸特征点定位方法”，中国专利申请号为200610011673.2，以下简称文献3。基于上述的几个专利中的人脸检测跟踪、人脸眼睛嘴巴中心点定位等方法，可以实现多个人脸特效，如人脸自动追踪、戴面具人脸识别等。

但是，上述的专利申请中的算法也存在一定的局限性，实现的特效仍存在不少缺陷，例如，首先，上述的算法中，眼睛、嘴巴定位结果并不十分稳定，导致戴面具的人脸上的面具经常抖动；其次，上述的算法中未加入眼睛嘴巴定位点的跟踪算法，导致计算量偏大；再次就是上述的算法在人脸平面旋转角度过大时无法定位眼睛嘴巴，导致相应的特效失效。

发明内容

本发明实施例提供一种人脸眼角与嘴角的定位与跟踪方法及装置，用以实现人脸作出各种表情时仍可获取眼睛与嘴巴角点的准确位置，从而改善现有的人脸面部关键特征点的定位与跟踪技术的性能。

一种人脸眼角与嘴角的定位方法，该方法包括：

A、采用人脸检测算法获取人脸的位置；

B、采用主动外貌模型AAM算法获取检测人脸的仿射变换系数，得到人脸眼角与嘴角所对应的六个角点的初始位置；

C、以所述六个角点的初始位置为基础，结合各角点的AdaBoost训练模型，在各角点邻域范围内搜索候选点；

D、采用多组特征逐步淘汰各角点的候选点，得到人脸眼角与嘴角的定位结果。

所述步骤D包括：

D1、计算所述各角点候选点的Harris角点特征，并根据Harris角点特征进行排序，根据排序结果减少各个角点的候选点数量；

D2、将左眼、右眼、嘴巴的角点候选点分别组成对，为左眼、右眼、嘴巴分别得到若干个候选点对；

D3、采用多组特征逐步淘汰候选点对，从各个器官的候选点对中挑选出最佳点对，得到人脸眼角与嘴角的定位结果。

所述步骤C中在各角点邻域范围内搜索候选点，包括：

将各角点邻域范围内每一个像素点都确定为一候选点，或者按照固定的窗口大小，每隔几个像素点确定一个候选点。

一种人脸眼角与嘴角持续跟踪的方法，该方法包括：

a、由多姿态人脸跟踪算法返回的位置获取当前图像帧中眼角与嘴角所对应各角点的初值；

b、在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；

c、以当前帧中眼角与嘴角各个角点的跟踪位置为初值，采用如权利要求1所述的人脸眼角与嘴角定位方法获取当前帧中眼角与嘴角各个角点的定位位置，作为当前帧中眼角与嘴角各个角点的定位位置；

d、采用当前帧中眼角与嘴角各个角点的定位位置对角点的跟踪位置进行修正，得到当前帧中眼角与嘴角的跟踪结果。

所述步骤b进一步包括：

在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；并对各角点的跟踪位置计算置信度；

判断各角点的跟踪位置的置信度是否大于等于预先设定的阈值，如果是，将当前各角点跟踪位置作为当前帧中各角点的跟踪结果；否则，执行步骤c。

所述步骤c之后，步骤d之前，进一步包括：