[发明专利]基于车载计算机平台的实时三维人脸姿态追踪方法

权利要求书

1.一种基于车载计算机平台的实时三维人脸姿态追踪方法，其特征在于，通过视频图像中的每一帧中提取得到人脸区域，经特征点匹配后将得到的二维特征点与对应的人脸区域的三维特征点进行三维姿态解算并得到当前帧的人脸三维姿态，然后再进行不稳定度判断以优化后续帧处理性能，实现实时人脸姿态追踪。

2.根据权利要求1所述的方法，其特征是，所述的人脸区域，通过以下方式得到：

步骤一，通过二维摄像机获得输入人脸的视频图像并进行预处理，即对摄像机输入图像进行灰度化处理，去除颜色，并采用直方图均衡化方法对图像进行亮度调整；

步骤二，通过训练后的人脸正/侧面的级联人脸检测回归器对输入图像进行人脸识别，提取人脸区域。

3.根据权利要求1所述的方法，其特征是，所述的二维特征点，通过利用人脸区域的局部二值特征，进行人脸二维特征形点形态回归，得到配准的人脸二维特征点，并对获得的特征点进行反畸变操作并得到。

4.根据权利要求3所述的方法，其特征是，所述的形态回归，使用随机回归训练法以公式为目标函数得到全局映射函数W，其中：φ为每个特征点的局部二值特征映射函数；t为特征提取的阶段；L为特征点个数，为阶段t特征点形态与实际形态的误差；为二值特征映射函数在上一阶段的形态的局部区域内，对训练样本图像I_i计算二值特征；λ用来控制优化松弛度。

5.根据权利要求4所述的方法，其特征是，所述的特征提取的阶段t为5个阶段的回归运算实现形态优化，即t∈[0,4]，具体是指：特征点配准算法在利用二值特征映射函数φ提取局部二值特征时，仅考察特征点周围一定半径范围内的像素信息；在获得特征点位置后，为了继续优化位置精度，则再次重复局部二值特征提取和全局映射的步骤，即在考察特征点周围的半径将依次递减，即精度由低到高的情况下进行下一阶段的优化。

6.根据权利要求1所述的方法，其特征是，所述的人脸三维姿态，通过预置的三维特征点对二维特征点进行对应三维姿态解算获得。

7.根据权利要求1所述的方法，其特征是，所述的不稳定度判断是指：在每帧得到人脸姿态结构后，计算不稳定度ξ并逐帧累加，然后判断：当①不稳定度累加值未达到人工设定的阈值T时，对下一帧利用二维特征点计算得到人脸区域，并减少人脸特征点回归阶段t的数量；当②不稳定度累加值达到阈值T时，则对下一帧运行全部的处理步骤，并将不稳定度累加值置零；当③当前帧中脸部区域的运动速率V_global小于定值ω，则跳过特征提取的阶段t的前3阶段，采用特征提取的阶段t的后2阶段进行优化。

8.根据权利要求1或7所述的方法，其特征是，所述的不稳定度是指：其中：V_global为当前帧中脸部区域的运动速率，通过计算脸部区域几何中心的移动速度得到，P_l为步骤三得到的第l个脸部特征点位置，为先前1秒内累积的特征点l位置的平均值，L为特征点的数量，w₁和w₂用来控制对应项的影响程度，通过对每帧计算ξ，并进行累加得到不稳定度累加值。

9.根据权利要求7所述的方法，其特征是，所述的不稳定度判断中的利用二维特征点计算得到人脸区域是指：首先计算全部特征点的最小包围正方形，再根据当前人脸移动速度和大小对正方形区域进行扩展，变化量ΔL_t＝λvL_t-1，其中：v为前帧得到脸部区域中心的移动速度，L_t-1为上一帧的区域边长。λ用来调节变化率。

10.一种实现上述方法的系统，其特征在于，包括：人脸识别模块、人脸特征点配准模块、三维姿态估计模块以及追踪控制模块，其中：人脸识别模块根据灰度值比较从视频图像中的每一帧中提取出脸部区域，人脸特征点配准模块采用局部二值特征进行特征点形态进行回归运算，从脸部区域中提取二维人脸特征点，三维姿态估计模块将二维人脸特征点与预置三维模型中提取得到的对应的三维特征点结合，解算出人脸三维姿态，追踪控制模块根据每一帧人脸三维姿态的不稳定度判断是否省去人脸识别和特征点配准中的阶段。