[发明专利]基于深度视频流的实时人脸姿态估计方法

说明书

技术领域

本发明涉及了一种识别方法，特别是涉及了一种基于深度视频流的实时人脸姿态估计方法。 

背景技术

目前用户与计算机的交互方式主要通过键盘、鼠标和触摸屏，这种交互方式都要借助于特定的硬件输入设备。自然人机交互方式成为目前研究的重点，例如：人体姿态、人脸姿态、人脸表情分析等。另外，在人脸识别中，人脸姿态估计也有着很重要的应用。通过人脸姿态估计后，可以在识别之前根据人脸姿态先对照片做变形处理，然后再进行识别，可大大提高人脸识别的准确率。 

现有的人脸姿态估计方法都是基于二维图像和视频的，此类方法还存在如下的问题： 

1) 采集数据易受到噪声干扰。传统的二维图像和视频易受到光照影响，光照会完全改变图片中某些区域的灰度值和纹理信息，使得训练阶段样本集不可能照顾到所有可能的情况，从而在泛化阶段准确率直线下降。

2) 特征缺失条件下准确率下降严重。这类方法通过某个脸部特征（鼻子、眼睛等）去估计脸部姿态。该类方法首先将需要的特征从整个人脸中提取出来，然后根据该特征的几何形状去判断实际脸部姿态。但是，在该特征无法辨认或遮挡的情况下，该类方法就无法判断人脸姿态或给出一个及其不准确的结果。 

3) 系统运行过程中需要人工干预。这类方法将物体跟踪的思想应用于人脸姿态估计。该类方法需要在系统开始运行时初始化人脸位置，并且，当人脸快速移动或遇到遮挡物时容易丢失目标。 

近年来，随着深度视频流采集设备（例如微软的kinect、爱动体感设备、CyWee、绿动体感运动机iSec等 ）逐步进入普通消费群体，深度视频流所提供的时间轴上的三维景深数据为人脸姿态估计提供了新的参考信息，同时也为新方法的提供了基础。 

发明内容

本发明主要是针对现在市场的要求，提供了一种具有及时性高、准确性强的基于深度视频流的实时人脸姿态估计方法。 

为了实现上述目的，本发明提供以下技术方案： 

本发明提供了一种基于深度视频流的实时人脸姿态估计方法，其步骤包括：抽样及训练阶段和实时估计阶段；在抽样及训练阶段，其步骤包括：获取头部各个角度的人脸景深图，并标注其鼻尖位置和偏转角度；将人脸景深图转换为人脸积分图；在人脸积分图中随机抽样得到训练样本集；采用监督学习方法进行训练，得到分类器；在实时估计阶段，其步骤包括：实时采集得到景深图视频流和普通视频流；获取景深图视频流和普通视频流的视频帧中的脸部位置；针对视频帧中的脸部位置进行随机取样得到待分类样本集；将待分类样本集中所有样本输入分类器，得到姿态估计结果；剔除异常的姿态估计结果；采用加权平均法处理剩下的姿态估计结果，得到最终姿态结果。

在本发明一个较佳实施例中，所述的获取头部各个角度的人脸景深图的方法具体为利用三维人脸模型重新渲染生成人脸景深图或利用实际采集的方式获取人脸景深图。 

在本发明一个较佳实施例中，所述在人脸积分图中随机抽样得到训练样本集的具体步骤包括：从人脸积分图中随机抽取一定规格的切片样本；去除删除空白区域过多的切片样本和深度值过于平缓的切片样本；在每个切片样本上标记其中心点与鼻尖位置的偏移量和对应的脸部姿态，得到训练样本集。 

在本发明一个较佳实施例中，所述的监督学习方法所采用的学习模型包括随机森林、决策树、神经网络和贝叶斯网络。 

在本发明一个较佳实施例中，所述的获取景深图视频流和普通视频流的视频帧中的脸部位置的具体步骤包括：利用景深图视频流中的深度信息过滤背景；利用普通视频流的图像帧中的肤色和纹理信息找到脸部位置。 

在本发明一个较佳实施例中，所述的针对视频帧中的脸部位置进行随机取样得到待分类样本集的具体步骤包括：在视频帧中的脸部位置上抽取一定规格的切片样本；抛弃空白区域过多的切片样本和深度值过于平缓的的切片样本；利用切片样本得到待分类样本集。 

在本发明一个较佳实施例中，所述的剔除异常的姿态估计结果具体步骤包括：采用均值漂移算法找到最密集的姿态估计结果的中心；抛弃离最密集的姿态估计结果的中心相差较远的结果。 

本发明的有益效果是：本发明所述的基于深度视频流的实时人脸姿态估计 

方法，这种景深数据较二维照片而言，不受光照等噪声的影响，增加了估计结果的准确性，并使得实时姿态估计成为可能；本发明采不会出现丢失目标的情况，本发明可以作为自然人机交互的有效途径，还可以为人脸相关的模式识别问题提供预处理。 

附图说明

图1是本发明基于深度视频流的实时人脸姿态估计方法一较佳实施例的流程示意图；