[发明专利]基于车载计算机平台的实时三维人脸姿态追踪方法

说明书

一种基于车载计算机平台的实时三维人脸姿态追踪方法，通过视频图像中的每一帧中提取得到人脸区域，经特征点匹配后将得到的二维特征点与对应的人脸区域的三维特征点进行三维姿态解算并得到当前帧的人脸三维姿态，然后再进行不稳定度判断以优化后续帧处理性能，实现实时人脸姿态追踪。本发明能够极大地减少计算开销，从而能够在车载计算机平台上以高帧率运行。

技术领域

本发明涉及的是一种计算机视觉领域的技术，具体是一种基于车载计算机平台的实时三维人脸姿态追踪方法。

背景技术

近年来，实时人脸姿态追踪已成为计算机视觉领域研究的热点。而在智能驾驶辅助系统中，脸部姿态追踪至关重要：例如，驾驶员脸部姿态能够反映驾驶员视点的位置和朝向，指导驾驶辅助系统的图像显示，使之能够跟随驾驶员视点运动做出适应性调整；反映驾驶员的生理状况，使得系统能够推测其疲劳程度等。因此该技术使得驾驶辅助系统能够实时感知驾驶员状态，从而更好地实现行驶引导，疲劳检测等与环境感知相关的应用。

由于车载计算机需要考虑在高温，振动等条件下的健壮性，加之成本等因素制约，因此通常基于现有移动平台的硬件架构进行改造，计算性能较弱。同时对于驾驶辅助信息的显示，为了消除肉眼可辨的延迟现象，人脸姿态追踪算法的运行速度需要达到60FPS以上。现有的算法在性能上往往难以满足以上要求。

目前对于实时人脸姿态追踪主要有基于外观模型比较和基于三维深度信息的方法。外观模型比较方法根据输入的二维视频中人脸的外观进行三维模型贴图，再比较后续视频帧中，人脸的二维外观和该模型之间的差异，通过最优化方法控制模型的姿态参数减小该差异进而得到姿态。该方法通常需要进行大量的像素运算以及三维模型投影转换等高开销操作，在车载计算机上难以实时运行；基于三维深度信息的方法将深度相机得到的三维点云与预置的人脸三维模型进行配准，利用配准得到的变换参数得到人脸姿态。此类方法需要定制的深度相机，将会增加系统的复杂度和成本，同时对于三维点云的处理也会带来较大的计算开销。

发明内容

本发明的目的在于克服现有技术性能开销过大的缺陷，提出了一种基于车载计算机平台的实时三维人脸姿态追踪方法，能够极大地减少计算开销，从而能够在车载计算机平台上以高帧率运行。同时本方法能在光照条件多变或不足的情况，以及面部有遮挡物的情况下正常工作，能够适应车载环境下的使用需求。

本发明通过以下技术方案实现：

本发明通过视频图像中的每一帧中提取得到人脸区域，经特征点匹配后将得到的二维特征点与对应的人脸区域的三维特征点进行三维姿态解算并得到当前帧的人脸三维姿态，然后再进行不稳定度判断以优化后续帧处理性能，实现实时人脸姿态追踪。

所述的人脸区域，通过以下方式得到：

步骤一，通过二维摄像机获得输入人脸的视频图像并进行预处理，即对摄像机输入图像进行灰度化处理，去除颜色，并采用直方图均衡化方法对图像进行亮度调整。

所述的摄像机优选分辨率不低于640×480像素以保证姿态估计精度。

步骤二，通过训练后的人脸正/侧面的级联人脸检测回归器(regressor)对输入图像进行人脸识别，提取人脸区域，具体为：

2.1)采集训练数据，并根据使用场景按需采集人脸图像；

所述的按需采集是指：拍摄驾驶环境下的人脸，优选有不同的个体；不同的面部遮挡物，例如帽子，太阳镜等；不同的光线条件；不同的脸部姿态，样本需要脸部z轴向±30°转动，x轴向±45°度转动，y轴向±60°度转动。各轴向转动每隔15°拍摄一组样本。对于所获得的人脸样本人工标定脸部的区域，并进行正侧面分类，将y轴向大于45°的样本作为侧面样本。