[发明专利]一种基于多外观模型进行人脸跟踪的方法

说明书

技术领域

本发明涉及人脸跟踪领域，尤其涉及了一种基于多外观模型进行人脸跟踪的方法。

背景技术

人脸跟踪检测技术是计算机视觉和模式识别领域中的研究热点之一。人脸跟踪是视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程，它是进行动态人脸信息处理的第一个环节，其涉及到模式识别、图像处理、计算机视觉、生理学、心理学及形态学等诸多学科，并与基于其它生物特征的身份鉴别方法以及计算机人机感知交互的研究领域密切相关。在视频会议、可视电话、视频监控、智能建筑等方面都有着重要的应用。作为自动人脸识别、视频会议、基于内容的压缩与检索等领域中的一项关键技术，人脸跟踪具有广泛的应用前景和实际意义。例如在海关、机场、银行、电视电话会议等场合，都需要对特定人脸目标进行跟踪，在诸如公共安全、智能门禁等领域具有应用价值。另外在人机交互领域，可以让机器人更好的追踪目标，实现高质量的交互应用。

由于人脸本身属于复杂多变的非刚体模式，在运动过程中，其大小，形状都会发生变化，并且现存的方法无法完全解决运动模糊，快速运动，障碍遮挡，背景杂波和尺度变化等许多跟踪问题，因此实现实时而可靠的人脸跟踪方法具有一定挑战。

本发明提出了一种基于多外观模型进行人脸跟踪的方法，利用多种外观模型进行脸部跟踪。在不同的跟踪场景中采用多种外观模型进行匹配，有效地进行跟踪，使用长期更新脸部外观特征的关系图进行学习，通过结构相同的子图像，进行脸部定位。提出了使用多种外观模型及其长期和短期外观存储器进行面部追踪的面部追踪器，其中人脸检测器帮助面部追踪器在短期外观变化和重新初始化过程中进行脸部定位，选择具有最高融合分数的脸部位置作为候选者，得到最终的跟踪输出，有效解决了跟踪过程中的障碍遮挡，尺度变化等问题，为工程领域的新设计，以及监控领域的创新解决方案做了进一步贡献。

发明内容

针对人脸跟踪，本发明提出了一个使用多种外观模型及其长期和短期外观存储器进行面部追踪的面部追踪器，选择具有最高融合分数的脸部位置作为候选者，得到最终的跟踪输出，为工程领域的新设计，以及监控领域的创新解决方案做了进一步贡献。

为解决上述问题，本发明提供一种基于多外观模型进行人脸跟踪的方法，其主要内容包括：

(一)脸部跟踪器启动；

(二)跟踪检测；

(三)构建多外观模型；

(四)外观相似度评分计算；

(五)基于加权分数级融合的人脸定位。

其中，所述的脸部跟踪器启动，采用以下两种方式启动脸部跟踪器：(1)使用包含标定的真实脸部包围盒(2)使用由面部检测器提供的包围盒，包围盒也称为信息区域，面部跟踪器输出每帧的脸部位置，并用包围盒表示，跟踪器在视频序列的一系列连续帧上输出信息区域时，它会寻找多个关键点展示出目标人脸，由于跟踪器在连续帧之间的时空关系上定位人脸，故其可以保持目标面部的身份，相反，面部检测器在整个图像中搜索面部，没有任何时空信息，因此不能保持面部的身份，在L2范数子空间中用关系图来表示人脸跟踪，关系图描述了初始化期间跟踪特征与包围盒中心的关系。

进一步地，所述的跟踪检测，在跟踪初始化过程中着重关注外观特征，并在整个脸部跟踪过程中继续进行初始化，使用各项同性的外观特征来整合鲁棒性，从图像中删除权重低的特征，并且在模型更新期间添加新的功能，遵循使用各向同性以建立起新加特征的权重，提出一种跟踪检测方法，采用面部检测器和面部跟踪器，面部检测器有助于处理脸部的尺度和纵横比变化，在外观严重变化期间重新初始化跟踪器，由于单独使用单个或多个基于外观且带有面部检测器的跟踪器无法有效地解决脸部跟踪问题，因此在多个外观模型的帮助下，使用多外观模型的脸部外观匹配在脸部局部区域产生面部候选，为了获得最终的跟踪输出，制定用于选择最佳面部候选者的加权得分级融合标准。

其中，所述的外观模型，图形关系模型(GRM)通过添加和删除关系图中的连接来逐步学习关系图，各向同性颜色模型(ICM)和二进制描述符模型(BDM)有助于在诸如照明变化，平面内旋转，平面外旋转等外观变化中找到目标面，ICM描述整体脸部外观，而BDM有助于检测像素级别内发生的内在时空变化，它们都是当前目标面部外观的短期记忆，并且根据遮挡检测策略被部分或完全更新，通过这种用于跟踪的外观模型方案，目标面的时间信息被累积，跟踪器对目标表面进行外观匹配，得到合适的外观记忆。