[发明专利]一种多形变多姿态人脸序列的特征点定位方法

说明书

本发明公开了一种多形变多姿态人脸序列的特征点定位方法，包括：对待处理视频进行人脸检测得到待处理视频中每帧图像的人脸位置信息；对于待处理视频的第一帧图像，利用人脸位置信息对人脸进行特征点定位，利用关键特征点初始化大位移光流跟踪器；对于从第二帧图像开始的每一帧图像，进行大位移光流跟踪，得到初始化大位移光流跟踪器的关键特征点在当前帧图像中的对应位置；使用跟踪到的关键特征点在当前帧图像中的对应位置进行姿态估计，建立当前帧图像的初始形状；利用当前帧图像的初始形状对当前帧图像的每个特征点进行精确定位。本发明利用特征点的跟踪位置进行初始形状建模，使得初始形状能够更好地表征当前状态下的人脸，定位效果更加准确。

技术领域

本发明属于计算机视觉与图像处理技术领域，更具体地，涉及一种多形变多姿态人脸序列的特征点定位方法。

背景技术

随着生物鉴别、人工智能、新一代人机交互等技术的迅猛发展，与人脸相关的图像处理技术如人脸识别、人脸动画、人脸表情分析、三维人脸建模等更是引起了众多科研机构和大量研究人员的关注。而且，人脸与其他人体生物特征相比，具有直接、友好、方便的特点，因此，有关人脸的分析技术已经成为近年来的研究热点。而这些技术的一个首要前提就是要快速有效的从图像或者视频序列中获取人脸特征点信息，即实现人脸特征点定位。

虽然人类可以从人脸图像中很轻松地分辨出面部特征点的准确位置，但对计算机来讲并不容易。因为人脸是非刚性的，人脸的大小、位置、姿态、表情变化、年龄变化、遮挡物的干扰、毛发和佩戴物、光线的变化等都会严重影响到正确地对人脸特征点进行定位。而且，目前人脸特征点定位技术相对还比较薄弱，比如在人脸识别领域中，做人脸检测的研究人员仅仅给出人脸的大概位置，并不考虑人脸特征点定位的准确度，而大部分做人脸识别算法的研究人员则都是假定人脸特征点的位置是给定的。并且，该研究涉及到图像处理、模式识别、人工智能、计算机视觉、生理学、心理学等多个交叉学科。因此，人脸特征点定位技术至今仍然是一项非常重要又极具挑战性的课题，其中所采用的特征点定位算法的精确度和定位的鲁棒性是当前研究的一个热点。

所谓人脸特征点定位，就是通过计算机在人脸图像中自动地定位出人脸各个器官的准确位置，为人脸图像的处理与分析提供重要的几何信息，其准确性直接影响到后续应用的性能，这些应用主要有以下几个方面：

1)为人脸识别提供重要的几何特征等基础信息。

2)利用人脸面部特征定位的结果进行人脸姿态表情分析。

3)实现人脸图像的自动跟踪。

4)用于人脸图像编码。

5)进行人脸合成、三维人脸建模以及人脸动画的研究。

近年来由于视频比静态图像能够提供更加丰富的信息，因此，在人脸识别、表情分析、三维人脸建模等领域逐渐把视频人脸序列作为研究的主流，其中一个必须解决的问题就是在人脸视频序列中定位和跟踪人脸特征点。尽管前人对该问题已经做了深入的研究，但到目前为止，现有的人脸特征点定位技术还是有很多苛刻的条件限制，比如要求均匀光照、正面中性表情人脸、无遮挡物等。即便如此，该技术也未达到实用的程度。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种多形变多姿态人脸序列的特征点定位方法，由此解决现有的人脸特征点定位方法在存在条件限制、定位不准确的技术问题。

为实现上述目的，本发明提供了一种多形变多姿态人脸序列的特征点定位方法，包括：

(1)对待处理视频进行人脸检测，得到待处理视频中每帧图像的人脸位置信息；

(2)对于待处理视频的第一帧图像，利用第一帧图像的人脸位置信息对人脸进行特征点定位，从定位到的特征点中选取关键特征点，利用关键特征点初始化大位移光流跟踪器；