[发明专利]一种非刚性人脸检测和追踪定位方法

摘要

本发明公开了一种非刚性人脸检测和追踪定位方法，首先摄像头拍摄出拍摄画面或视频画面，然后进行人脸检测与追踪。本发明使用类似AAM创建一种对象的形状信息机制，asm采用参数化的采样形状来构成对象形状模型，并利用pca方法建立描述形状的控制点的运动模型，最后利用一组参数组来控制形状控制点的位置变化从而逼近当前对象的形状，该方法只单纯利用对象的形状和基于形状的训练模型，实现起来更加容易。

主权项

1.一种非刚性人脸检测和追踪定位方法，其特征在于：方法步骤如下；A、摄像头拍摄画面或视频画面，通过摄像头对人脸进行拍摄并得到拍摄画面或者视频画面；B、人脸检测与追踪，通过细节改善模块对人脸在拍摄时进行检测和追踪；B1、几何约束，针对拍摄画面或视频画面样本分解刚体和非刚体：针对拍摄画面或视频画面样本进行脸部区域的区域性选择；然后通过shape_model程序记录脸部区域的刚体rigid变化和区域性的非刚体non‑rigid变化，shape_model程序的记录过程如下：b1、通过表示脸形状的子空间矩阵V和方差向量e，由子空间矩阵v和方差向量e构成共同构成模型的形状；参数向量包含子空间矩阵v和方差向量e，参数向量存储模型的形状；b2、b1中具有的参数向量包含如下三个参数：人脸形状特征点的投影，根据人脸形状的参数向量计算的人脸模型，和通过人脸模型做人脸形状的训练参数；b3、对人脸特征的计算，并提出人脸点集的局部线性模型的计算；C、几何计算，计算人脸形状的变形模型：首先设计一个去除整体刚性形状的模型，然后基于2D模型制定一个以上完整的功能集，并依次配置所有可能的组合，其组合中包括如下三种变形模式：平移，翻转，缩放；D、线性形状模型：对人脸面部形变建模，利用面部几何线性来表示人脸面部，将其人脸模型固定在某个区间并让非人脸模型进入判断的区间，并用一连串紧凑的参数来表示具体的人脸；并依次通过PCA方法得到低维子空间特征值、奇异值分解的方法处理形状数据的协方差矩阵；E、结合本地全局表示：在图像帧的形状是由局部变形产生的组合物，局部变形的图像存在着全局变换，并在全局变换中添加线性子空间；连接线性子空间、刚体变换子空间两个子空间的结果并结合本地全局线性正交方式表示的面部形状，结果模型的正交性计算，根据以下公式：p＝V.t()*s；其中s是脸形状向量，p存储对应的脸子空间的描述；F、使用训练和可视化的功能模块：训练现有的分类器，每个分类器至少包含一个非线性的分离边界，实际的分类效果用以指明在交叉验证过程中的分类性能，使用具有可视化的分类器以产生更好的分类精度并在一个较小规模的数据范围内，得到较好的分类效果；H、使用基于补丁模型的相关性内容、几何相关性，进行脸部检测与初始化和追踪；针对几何相关性：人脸面部图像的补丁模型对于规模较小的扰动和旋转的追踪处理过程中，人脸持续在视频序列中连续帧之间的运动是相对小的，可以利用全局估计变换这一方法针对性的在人脸图像前一帧的时间序列过程中规范当前图像的尺度和旋转，使用程序选择一个参考帧进行补丁模型的学习；训练与可视化：根据面部特征的数量大小的补丁，并在优化算法的随机样本数，可以独立进行训练所有其他人，在不同程度上可以优化训练，只训练其中需要做训练的人脸部分内容，而且可以有选择性的分析对活性局部块大小做出判断，该活性局部块表示人脸中特征较为密集的人眼、嘴唇、眼角的面部特征富集的区域，修改的补丁模型空间相对应补丁模型的结构则会出现大幅变化，以至于设定出合适的参数；脸部检测与初始化和追踪：使用opencv的人脸检测模型追踪的人脸模型，通过对人脸面部器官的几何约束并利用这种面部器官的相互约束做彼此之间的位置确定。