[发明专利]一种基于多外观模型进行人脸跟踪的方法

权利要求书

1.一种基于多外观模型进行人脸跟踪的方法，其特征在于，主要包括脸部跟踪器启动(一)，跟踪检测(二)；构建多外观模型(三)；外观相似度评分计算(四)；基于加权分数级融合的人脸定位(五)。

2.基于权利要求书1所述的脸部跟踪器启动(一)，其特征在于，采用以下两种方式启动脸部跟踪器：(1)使用包含标定真实脸部的包围盒(2)使用由面部检测器提供的包围盒，包围盒也称为信息区域，面部跟踪器输出每帧的脸部位置，并用包围盒表示，跟踪器在视频序列的一系列连续帧上输出信息区域时，它会寻找多个关键点展示出目标人脸，由于跟踪器在连续帧之间的时空关系上定位人脸，故其可以保持目标面部的身份，相反，面部检测器在整个图像中搜索面部，没有任何时空信息，因此不能保持面部的身份，在L2范数子空间中用关系图来表示人脸跟踪，关系图描述了初始化期间跟踪特征与包围盒中心的关系。

3.基于权利要求书1所述的跟踪检测(二)，其特征在于，在跟踪初始化过程中着重关注外观特征，并在整个脸部跟踪过程中继续进行初始化，使用各项同性的外观特征来整合鲁棒性，从图像中删除权重低的特征，并且在模型更新期间添加新的功能，遵循使用各向同性以建立起新加特征的权重，提出一种跟踪检测方法，采用面部检测器和面部跟踪器，面部检测器有助于处理脸部的尺度和纵横比变化，在外观严重变化期间重新初始化跟踪器，由于单独使用单个或多个基于外观且带有面部检测器的跟踪器无法有效地解决脸部跟踪问题，因此在多个外观模型的帮助下，使用多外观模型的脸部外观匹配在脸部局部区域产生面部候选，为了获得最终的跟踪输出，制定用于选择最佳面部候选者的加权得分级融合标准。

4.基于权利要求书3所述的多外观模型，其特征在于，图形关系模型(GRM)通过添加和删除关系图中的连接来逐步学习关系图，各向同性颜色模型(ICM)和二进制描述符模型(BDM)有助于在诸如照明变化，平面内旋转，平面外旋转等外观变化中找到目标面，ICM描述整体脸部外观，而BDM有助于检测像素级别内发生的内在时空变化，它们都是当前目标面部外观的短期记忆，并且根据遮挡检测策略被部分或完全更新，通过这种用于跟踪的外观模型方案，目标面的时间信息被累积，跟踪器对目标表面进行外观匹配，得到合适的外观记忆。

5.基于权利要求书1所述的构建多外观模型(三)，其特征在于，使用图形关系模型(GRM)，各向同性颜色模型(ICM)，二进制描述符模型(BDM)来表征包含在初始化边界框中的目标面部，GRM从两个角度来描绘面部，首先，通过检测和描述属于脸部的关键点描述符为脸部相关特征编码，其次通过使用相关信息在检测到的关键点与初始化包围盒的中心之间形成关系，以此来表示L2范数子空间中的关键点，通过使用以上相关信息GRM的可见部分可以输出目标面部中心，由于部分闭塞和变形是鲁棒的，为了增强鲁棒性，在模型初始化期间，更接近中心的关键点，被赋予更高的权重，相关权重由等式(1)给出：

wki=max((1-|η·FDL|),0.5)---(1)]]>

GRM中关键点的关系信息表示为{FDL,D,w}，其中FDL表示具有图形中心特征点的L2子空间，D是关键点描述符，w是特征权重，ICM使用颜色直方图对整体外观进行编码，BDM对包含在初始化边界框中的像素时空邻域中局部信息进行编码。